元夫に親権を取られる可能性

先月12月に離婚しました。
理由は元夫が逮捕されたのと別に逮捕されてる間に不倫の証拠を見つけたからです。元夫は結婚生活6年間の間に3度不倫をしています。その度に許してきましたがさすがに無理だ、、、と思い今回離婚しました。
私には幼児の娘が3人います。
離婚する前も夫が家に帰ってくるのは週2回で他は飲みに出たり女性とホテルに行ったりしていました。子供もパパは毎日帰ってこないというのは分かっていて幼稚園の先生にもそのような話をしていたそうです。
そもそも子供の名前の漢字もまともに覚えてないし、誕生日も間違うレベルです。
協議離婚の際、親権で揉めたんですが子供が会いたいなら会わせると言い納得させ結局3人とも私が親権をとりました。
お正月に会えたら会うという話しをしていたんですが、私が職場に用事があったのと子供も私の職場に行きたがったので面会を断ると次の週の日曜会えるかと聞かれたのでその日は予定があるというと、LINEで離婚した時の話と違う!と言われ、出るとこ出て争うなど言われました。
まだ月始まったばかりだし、休日も他にある。
でも、子供も混乱するから落ち着くまで月一がいいと要望を出すと、なんで混乱するのか分からない。じゃあ会うなという事なのか。自分の子供でもあるのに勝手すぎる。揉めたくないけど争うしかない。など言われました。
元夫からは毎日LINEが来て返信しない事に対しても、仲良くしようと思ってLINEしてるのになんで返さないのか。自分もキツイのに歩み寄ろうとしないのは何故か。など言われて正直精神的苦痛です。

親権を取る気でいるみたいなんですが、元夫に親権を取られることはありますか?
ちなみに養育費は渡すと言われながらもらってません。

親権者があなたということは直ちに親権を取られることはないでしょう。
あなたがお子様に虐待をしているなどのご事情があるならば別ですが。

ご自身での対応が難しいということであれば弁護士に対応を依頼するというのも選択肢の一つです。

ご参考にしていただければ幸いです。
すでに離婚が成立しお子様の親権者はすでに相談者様が持っているとのことですので、元旦那様がとり得る手段としては、親権者変更の調停・審判の申立てです。

元旦那様が上記申立てを行った場合、裁判所は監護能力や監護実績などの諸般の事情を考慮して親権者変更がお子様にとって最善かを判断することになります。
※上述の事情のみでは、正確な見通しをお伝えすることは困難ですが、以上の事情をみる限り、親権者変更が認められる可能性は低いと思います。

また、養育費の支払いがないとのことですので、逆に相談者様から養育費請求調停の申立てを検討しても良いかと思います。
合わせて、元旦那様が不倫をしていたということであれば、慰謝料請求をすることも可能です。

なお、具体的な方針や進め方については、離婚問題を専門とする弁護士に一度、相談することをおすすめします。