特別養子縁組について

子供が1歳になる前に離婚しています。特別養子縁組、普通養子縁組の2種類がありますが、ネットで調べると特別養子縁組は難しいと書いてました。
離婚、親権、養育費等を家庭裁判所を通じて話し合い離婚しました。離婚原因は暴力、性格の不一致で離婚しました。
離婚後、養育費、面会は1度もないです。
去年、嫌がらせの調停を起こされ無駄な出費と労力を使いましたが無効で相手側が取り下げをしました。元旦那は再婚しており子供が3人います。関わることになると思うと精神的に参ってしまい精神科に通って薬を飲んでいます。
再婚するのですが、このような状態でも特別養子縁組は難しいのでしょうか?

原則として「元旦那」の同意があることが必要です。
「元旦那」が子を虐待しているなどの特別の事情がある場合は、例外的に同意が不要となります。

子にはないので厳しいですよね。