パパ活にて頂いたお金の返還義務

パパ活アプリにて知り合った男性からこの2.5ヶ月程で30万程頂きました。
1月に10万円、2月に20万円。
週に何回か会うなど口約束はしましたが、特に書面などでの契約はしておりません。忙しい時期なので会えなかったりすることは考慮してもらっておりましたが相手の要求が行き過ぎた事もあり怖くなり、関係の解消を考えております。
ただ相手の方が情緒不安定なこともあり、先日一方的に怒られ関係の解消を切り出され、割に合わないから渡した20万を返せと言われ、すぐに返せなかったら利息も付けるし、絶対に取り返すと言われました。渡したのではなくお金は貸しただけだと。
ですが翌日、LINEにて渡したお金は返さなくていい。だから約束していた日にちとプラス1日会ってほしいと言われました。
もうこの方からはこれ以上のお手当を頂くつもりは一切ありません。
月極で頂いているので、今月お会いする約束をしていた日にち、プラス1日お会いしたら関係を解消するつもりです。
ただ相手の気分と発言に振り回され、脅されるのが怖いのと同時に関係の解消を望んだら、今まで渡したお金を返せと言われるのではないかと心配になりました。
その方は私の自宅も知っています。
この場合、私は返還義務はあるのでしょうか...。
利息を付けてでも必ず取り返すと言われましたが、相手方が弁護士を付ければそのような事も可能なのでしょうか。
教えて頂けると幸いです。

返還義務はありません。
どんなに優れた弁護士をつけても同じ結論です。
また、優れた弁護士なら受けることはないでしょう。

内藤先生、お返事ありがとうございます。
身体の関係を1度しか持ってないから今月は割に合わないから返せとも言われましたが返還義務が無いことをお聞きして安心致しました。
例えば私が返還をしなかったために、詐欺扱いされて訴えられるケースはあるのでしょうか。

本件の場合、ありません。
警察は、相手にしません。

ありがとうございました。安心致しました。