パパ活で返金しなければ弁護士に依頼すると言われてしまいました

長文になってしまいますがご回答いただけますと幸いです。

Twitterを通じて知り合った方(妻子持ち)と身体の関係ありのパパ活をしていました。
当時、消費者金融からの借金があった為、そのことをお話ししたところお相手の方から「利子がもったいないから返そう」と言われ、返済していただきました。
その際私から"お金を貸してください"、"代わりに払ってください"などということは言っていません。

借用書などは書いておらず、少なくとも記憶の中では返金するなどということも言っておりませんし、あくまでもお相手の方のご好意で払っていただいたという認識でおりました。

また、返済する時もお金を受け取ったわけではなく、お相手の方に同行していただき一緒にコンビニのATMから返済しています。

お相手の方から「あと1年くらいは会い続けてほしい」と言われ、肩代わりをしていただいたことに対して感謝の気持ちもあったので承諾してそこから約半年程お手当なしでお会いしていました。

ですが、身体の関係でのデートを執拗に求めてきたり、言動がエスカレートしていったりと、徐々に会い続けることがストレスに感じてしまい「もう会えません」とお伝えしたところ、「先払いした分を返して欲しい。そうでなければ弁護士に依頼する」と言われてしまいました。

こちらとしては先払いなどではなく贈与として受け取った認識なので返金する気はないです。
お金があれば全額支払って縁を切る方が良いのかとも思いましたが、そんなお金はありません。。

これは完全に私の落ち度ですが、相手の方は私の本名、電話番号、住所を知っており何かされないか怖いです。
こちらはお相手の本名、電話番号、職場、職場の電話番号などは分かっています。

現在、返金するつもりはない旨をお相手にお伝えしてLINEも Twitterもブロックし、電話も着信拒否にしていますが、このままで大丈夫でしょうか。

訴えられたり高額なお金を請求されたりしないか不安です。

相手方がさらに何かをしてくるかは、相手方の性格や金額の多寡によると思います。
相手方の支払いが、貸付けとなるか贈与となるかは何とも言えず、相手方の請求が認められることも十分考えられます。
なお、相手方が支払い金額以上の金額を請求することは法律的に難しいと思いますが、相手方妻による慰謝料請求の可能性があることにも注意が必要です。

返済していただいた代わりに肉体関係をもつということ前提でお会いすることになっていたとしても不法原因給付扱いにはなりませんか?

>返済していただいた代わりに肉体関係をもつということ前提でお会いすることになっていたとしても不法原因給付扱いにはなりませんか?

一般論として、その可能性はあります。

ただ、ネット上だと詳細な聞き取りが難しいので、
可能であれば今までの相手とのやりとり等資料を持って、近所の弁護士に面談相談に行って意見を聞いてみることをお勧めします。

不法原因給付になる可能性はありますし、貸付(消費貸借契約)の立証責任は貸主側にありますので、ディフェンスし得るケースであるようにも思えます。(相手が貴方との関係を続けたいがためにそのような言動をとっている可能性もあるように思います。)

一度、弁護士に詳細を説明しながら、個別に相談なさってみるとよいでしょう。