連れ去りになるのか?

不倫した側です。
夫はやり直すつもりで弁護士に相談しています。
今は同居中です。
私は離婚したいのですが、こちらからの離婚は認められないので夫には内緒で子(小4、小3)を連れて別居しようと不動産屋に相談しています。
審査も終わりましたが、入居まであと1週間強あります。
不倫が発覚してからもうすぐ1ヶ月。
夫弁護士の連絡から1週間ちょっと。
返事はしていません。
回答もせず不誠実だし、やり直す気がないなら早く出ていけと。
出ていくなら親権も含め、全て手放せと前々から言われています。
ただ親権だけは渡すつもりはないので、子連れでとりあえず別居しようと思っていました。
が、夫がどうしたいのかとにかくはやく結論を出せと言い始めたので、子供は連れて行く旨を話したところ、連れ去りで訴えると言われてしまいました。
勝手に子供を連れて出ていくと、やはり不利になってしまうのでしょうか?
この場合、今後はどのように動くと良いのでしょうか。

子供が小3,小4なら一緒に出たほうがいいでしょう。
出る際、忘れ物がないように注意したほうがいいでしょう。
親権で不利になることはないでしょう。
子供の取り戻しに注意する必要があるので、転居先は不明
にして、連絡先は実家にするように書置きしていくといい
でしょう。

ご相談者様が、旦那さんの了解を得ずに、お子さまと一緒に別居をしても、親権者や監護権者になる際に不利益になることはないと考えます。
むしろ、お子さまを連れて行かないで、今後、旦那さんとお子さんが一緒に生活することになった場合は、
親権者や監護権者になれない可能性が出てきますので、ご注意ください。