離婚後、お金を返せと言われているのですがどうしたらいいでしょうか?

モラハラ、DV、不倫などに苦しみ子連れで離婚しました。
その際に慰謝料を兼ねて引越しの頭金にとお金を元夫からいただきました。
しかし離婚後も復縁を迫る連絡がしつこく精神的に追い詰められた為離婚後に彼氏が出来たと嘘をつきました。

その時は収まったように思えたものの、彼氏と一緒に住むならお金を返せ!詐欺だ!被害届を出す!と言われています。

最後の情けと何もせず別れたにも関わらずこの状況に途方に暮れています。
私はどうしたらいいでしょうか?

全て諦めてお金を返した方が良いでしょうか?

返金する法的義務はありませんし,被害届が受理されることもないと思います。
無視でいいのではないでしょうか。

あまりにもしつこく、実家に行くなど脅迫めいた連絡も来ていて二度と連絡をしてこないならお金を返すと返信してしまったのですが、その場合も返さなくて良いのでしょうか…

相手方が今後連絡してこない保証はないため,返金するとしても,書面などで約束させた方がよろしいかと思います。
現時点では返金義務はないと考えていいと思いますので,警察に相談することも検討してください。