お金を返してと言われてます。

未婚の中年男性の相手と私既婚ですが、お金を貰って会ってました。
揉め事や過去3回、訴訟をするなど慰謝料請求を求められたりありました。
こういったことがあったので、話し合いで今後しない約束をし口約束にならないように念書を作りました。
今回4回目このようなことになったので、関係を終わらせたい話をしました。相手は終わりにするならお金を返して下さいと言っています。
相手の方と冷静な話し合いが出来ませんし、わたしに挙げたお金は、挙げてないと言って託したお金だと言われました。私は確かに貰ったお金です、相手がそう言ってきたなら私は返さなければならないのでしょうか?

相手と冷静な話し合いが出来ないので会話が難しいのでどうしていいか分かりません。

お金を取り返す為に、興信所へ夫の携帯番号を調べて全て今までのことを話すしお金も返して貰うからとも言っています。
興信所は個人情報を教えるんでしょうか?

ご記載いただいた事実関係を拝見するかぎり、お金を返す必要はないかと存じます。ただ、男女間の金銭トラブルは刃傷沙汰になるリスクもありますので、慎重な対応が必要のように思われます。脅し文句がエスカレートするようであれば、警察にストーカー規制法違反あるいは迷惑防止条例違反、脅迫罪等で被害届が出せないか相談することも考えられるかと存じます。

なお、単なる売買春ではないようですので、ご主人に知られた場合、その男性はご主人から慰謝料請求を受ける可能性もあります。

相手からお金を返してなど、再度最後返金について話し合いをする場を作ります(私は相手が冷静では無い状態かと思いますので話し合い出来るほど話が出来ないと思います)など、着信が止まないほど連絡が来るのですが、1度連絡を返した方が良いでしょうか?