個人間でお金の貸し借り

去年の4月にお金を借りました。
金額は40万程です。
相手とは出会い系サイトで知り合いました。
元々援助交際で相手とは会っていたのですが、
40万程必要になり、相手に相談しました。
相手には私の身分証明書の写真を撮ってもらい、
借用書などは書いてないです。
条件は月に3万の返済と、体の関係を
金銭絡ませず継続することです。
最初は新しい仕事を始めたばかりだったので
生活が落ち着いてから返済すると伝えました。
ですが仕事が上手くいかず就職しては
退職というのを繰り返していたので
私は一向に返済できずにいました。
相手は返済の遅れについて何も言わず、
ただ肉体関係を要求していました。
しかし今年に入ってから私は性器に問題が見つかり
通院を始めました。性病ではないです。
それを伝えても肉体関係は続きました。
そこから彼からの連絡、肉体関係に耐えきれず
返信しなくなり連絡先も消してしまいました。
数日後、私の家のポストに手紙が入っており
「連絡できず困っている」
「返済して欲しい」
「〇月〇日までに連絡がなければ警察に行く」
という内容でした。
連絡先を消してしまったこと、
返済できていないことについては
申し訳なく思っているのですが
肉体関係の継続が怖くて
連絡出来ずにいます。
どうしたらいいか分かりません

「体の関係を金銭絡ませずに継続する」との発言からしますと、相手は肉体関係が絡んだ場合、40万円の貸付けが公序良俗違反として無効との主張をされることを知った上で、40万円を貸したことが伺えます。
実質的には体の関係を継続するための40万円と考えることもできますので、40万円の貸付は無効で返済義務はないと主張してみるのも良いかと思います。
いずれにしましても、これ以上の連絡は取らず、代理人弁護士を挟んで話をする方が良いと思われますので、お近くの法律事務所に相談に行かれることをおすすめいたします。