元旦那に言われています、、

協議離婚をし親権は自分にあり、相手には養育費を頂きながら月に数回面会をしています。今後お付き合いをする男性ができたとしても子供には会わせないでほしい。と元旦那に言われました。離婚時の話し合いで自分は再婚するつもりもないし誰かとお付き合いなどは考えていないと口約束?で言いましたが今後状況が変わり将来を考える相手がもしも出来た場合会わせないでほしいと言われている中会わせてしまったら訴えられたり親権に関わるトラブルに
繋がるのでしょうか?

一度よりを戻すか話し合っていた時期は宿泊ありでの面会もしていましたが、再婚はしないと結論がでたので宿泊なしでの面会がよいのですが相手は泊まりで子供と過ごせないことに納得がいかない様子です。まだ幼児なので子供だけ泊らせるのも心配です。泊まりでの面会を断るのはいけないのでしょうか?

指摘の状況下で、会わせても、訴えられたり、親権トラブルはないでしょう。
再婚すれば、毎日会うのですから。
口約束より、再婚の自由が優先します。
宿泊も断っていいですよ。
ただし、相手の気持ちも、わからぬではないので、断り方は、慎重に。

会わせてしまったら訴えられたり親権に関わるトラブルに繋がるのでしょうか?

訴える理由はないと思いますし、それだけで親権変更という話にもならないと思います。

泊まりでの面会を断るのはいけないのでしょうか?

いけないことはないと思いますよ。
まだ、お子さまも幼児とありますし、お子さまが不安にならないようにされてあげてください。