親権を取り返したい。元旦那のワイセツ行為に対して何か方法はありませんか?

離婚後、面会交流拒否をされてます。
公正証書には「子の福祉を考慮し自由に面会させる」と書いて貰いましたが、全く面会させて貰えません。
不倫相手とよりを戻した事が知られ、それで激怒しており
「子供を捨てて男を取ったお前に面会する権利はない。無理。面会させる気になったらこっちから連絡するから連絡してくるな。面会させるとしても年に一回位だと思え」
と理不尽な事ばかり…。
どうしても子供に会いたかったので、元旦那に謝り、今一緒に住んでおりますが、身体を求められ、拒否すると
「出ていけ。子供とは二度と会わせない。子供と会いたかったり、住みたいのであれば、夫婦生活はする事が条件だ。」
とめちゃくちゃな事を言ってきます。

子供と会えなくなるよりはマシだと腹をくくって体の関係を今は持っています。

離婚しているのに無理矢理身体の関係を強要するのは罪にはなりませんか?
また親権、監護権とも今は元旦那が取っておりますが、親権を取り返すことは可能でしょうか?

まだ子どもが2歳と4歳と幼いので母親が親権を取り返すことは有利に働いたりはしませんか?

暴行、脅迫で、性行為をすることは、強制性交罪になるでしょうが、
外側からは復縁してるとみられる可能性があるので、刑事事件と
しては、難しいでしょう。
再度、別居して、面会交流、親権変更の道を検討することになるで
しょうね。

内藤弁護士ありがとうございます。