条件つきで会っていたがその証拠はない、訴えられることはあるのでしょうか

3年ほど続いてるパパ(一応交際してるという事になってます)に家賃と会う度に体アリで4万円を頂いてます。家賃は払ってもらう代わりに鍵、家に入れるという条件で払ってもらっていました。半年前くらいに盗撮を何度もされていたことに気付きその時から会うのも怖くなってどうしようとずっと悩んでいて先日やっともう会うのを辞めたいと言いました、理由として盗撮されてた事が忘れられなく、信用出来なくなってしまったと伝えました。それを伝えたら終わりにするなら今までの条件のままで良いからあと3ヶ月くれといわれたのでそうすることにしたのですが、急に3ヶ月で終わりにするなら今までのお金を返せと言われ裁判もすると脅されました、家賃を無理やり払えと言ったことも無く、会った時の4万円も体の関係が苦手だと伝えていたのでその対価としてと向こうから言ってきたことなので急にそんなことになってどうしたら良いかわからないです。お金を返さなくてはならないのでしょうか、またこの場合裁判起こされることはあるのでしょうか。

家賃分については、返還約束がないかぎり、基本的には返還する必要はありませんし、仮に先方が返還請求訴訟を提起してきたとしても返還約束についての証拠がない以上、請求は棄却されるものと考えて頂いて良いかと存じます。また、売春の対価としての4万円については不法原因給付に当たりますので先方が返還請求訴訟を提起してきたとしても請求が認容される余地は全くないと考えて頂いて良いかと存じます。

先方の脅し文句がエスカレートするようでしたら、LINEのやりとり等をまとめて警察に脅迫罪や強要罪等で被害届を出せないか相談されることをおすすめいたします。

お金を返す必要はありません。家賃については返還の約束がない以上、贈与とみなされます。仮に相手方が返金訴訟を起こしてきても、貸金であることの主張が立証できず請求棄却になって認められないと思います。性交渉の代わりにもらっていた4万円については不法原因給付に該当し、相手方からの返還請求は認められません。
相手方の脅しが続くようであれば、警察に相談し、弁護士に依頼して、今後二度と同様のことをいってこないよう、内容証明郵便で警告してもらえばよいと思います。