パパ活していた相手から返金を求められ弁護士から連絡が来ました。

パパ活していた相手から返金を求められています。
その方とは数年前にも身体の関係有りで数回お会いしたことがあり去年諸事情で貯金がしたいのでまた前と同じ条件で会ってほしいと伝え久しぶりに会ったのですが、いざ行為になると私が罪悪感から出来なくなってしまい出来ないから申し訳ないとパパ活の関係をお断りしたのですが、身体の関係なしでもいいよと言っていただいたので5月〜12月までの8回お会いし計40万円を頂きました。都度5時間で5万円です。
私は既婚者なので離婚の相談なども乗ってもらっていたのですが、いつ離婚するの?一緒に弁護士に相談にしこう、などだんだんLINEでのやり取りもエスカレートし離婚するまで40万円は預かるなど言われたので怖くなり返信をせずにいました。すると次はショートメールで弁護士に相談する警察に通報する住所も調べれば分かると脅迫され、メールを無視していたのですがついに相手の弁護士から連絡がきました。40万円を返還して欲しいと。
私は相手の"見返りなしで助ける"と言う言葉に都度5時間を一緒に過ごしお金をいただいていて借用書や貸す返すなどのやりとりは一切していません。
度重なる脅迫のメールも怖かったので警察に相談しようと思っているのですが、この場合私は40万円を返還しなければいけないのでしょうか?
今後どのような対応すればよいのでしょうか?

追記です。
相手は離婚の軍資金として渡したと主張しています。私は一緒に過ごした対価として頂いたお金だと認識していますが、離婚したいなど愚痴を聞いてもらっていました。貯金もないしすぐに離婚することはできないとも話していました。お金のやり取りには双方の認識の違いがあると思うのですが見返りなしでお金を渡すと言われていてもこの場合、離婚をしないならお金を返還してほしいという相手の主張が正しいのでしょうか?

返還義務はないでしょう。
脅迫メールありなら警察相談が有効ですね。
警察が前向きでないときは、弁護士事務所に行くといいでしょう。

ご相談の事案では、1回会うことの対価として、または定期的な贈与として、お金を渡す契約が成立していたと捉えられます。
お金は、契約に基づいて交付されたものですので、返す必要がありません。
よって、お金を返す義務はありません。

相手方弁護士に対しては、返還には応じない旨を伝えればよいでしょう。
返還請求の法的根拠を明らかにしてもらうよう求めるのもよいと思います。

>今後どのような対応すればよいのでしょうか?

①本当に弁護士かどうか、ネット等で確認した上で、
②支払い義務はないので払わない+これ以上脅すなら警察に相談に行く、

と伝えるのがお勧めです。

不安であれば近所の弁護士に面談相談に行ってみてもいいと思います。
区役所等で、無料法律相談をしていることもあるので、調べてみましょう。