愛人契約解消後の返済義務と取り立て行為の合法性は?

私が金銭面で困っている際に、月10万円で愛人契約を提案されました。
困っていた私は同意しましたが、相手の希望の日に都合がつかなかった事をきっかけに一方的に契約解消。
結局、契約してから一度も会っていません。
先に、もらっていた10万円は毎月15日に2〜3万円返済するようにと連絡があり、私ははーいなどと適当に返信していました。
その後、返済日にはなっていないものの私の返信が遅いからと債務回収会社への依頼を検討するという文章と私の家周辺の地図画像が送られてきました。
この場合、返済義務はありますか?
また、返済義務がある場合、連絡は細かく返す必要はあるのでしょうか?

契約書、借用書などはありません。

愛人契約は公序良俗違反(民法90条)となり、無効となります。
そのうえで、愛人契約に基づきご相談者様が受領した金銭は、不法原因給付(民法708条)となりますので、
相手方は当該金銭の返還請求をすることはできません。
以上、ご参考までに。