返さなくていいと言われたのに返せと脅されて困っています

知り合った男性に、最近長年付き合っていた女性と別れて、心にポッカリ穴が空いた感じがして寂しい。という話を出会った日にされ、もしよかったら一緒に旅行をしたいと言われました。彼が本当にすごく寂しそうに見えて同情してしまい、私も元気づけたい気持ちと、自分のリフレッシュも兼ねて受け入れました。それから何度か会うようになり、家にも来るようになりました。出会った初日に体の関係を一度持っているのですが、旅行に誘われた時は、そういう関係ではなく普通に遊んでリフレッシュしたいという話だったので受け入れました。
元々私には借金があり、奨学金の返済等とてもお金に困っていたので、これ以上借金を増やしたくなく、奢ってもらうことに抵抗がありました。なので自分で買うからと言っていたのですが、俺はそんなことしないから、返せなんて言わないからと言われ、甘えてしまいました。彼は当時離職し、転職活動中だったので、次の仕事が見つかる、2ヶ月(おそらく)の間一緒に遊ぼうと言っていました。
私は常に返済に追われお金に困っている状態だったので、家の家具もずっと揃ってない状態だったので、それも買ってあげると言われて最初は渋ったのですが、大丈夫と言われてまた甘えてしまいました。年齢もとても離れており、感覚としては彼のことをお父さんのように思うようになっていきました。
家に泊まる時があったのですが、体を求められた際に、お父さんのように思ってしまっているということを打ち明けると、わかったと納得してくれました。
その後も食事に行ったり何度か会っていて、また旅行に行ったのですが、そこでまた体を求められて、それに私が泣きながら拒絶してしまいました。私は本当にお父さんのように思ってしまっていたので、彼が男女の関係になりたいと思っているとは気づけませんでした。旅行から帰り、関係が悪化して、今まで買った分お金を返すよう言われました。
返さなくていいと言っていましたよね?と確認すると、そうは確かに言ったけど変わってくるだろと言われました。返済があるからほんの少しずつしか返せないと伝えその日は納得して帰ったのですが、振り込みの日に本当に僅かしか口座にお金が無かったためそれを全額入金しました。しかしその額を見て激怒した彼からLINEが入り、バイト中のため連絡が遅くなったのですが、見ると怒りの言葉と、教えたことのない私の父親の電話番号が送られてきていました。親にはもちろんこのことを知られたくないですし、すぐにでも電話かけていいんだぞという内容だったので、とても怖くなり、とにかく謝り、数日後に知人からお金を借り追加で入金しました。
脅されている恐怖感から仕事も手付かずになりバイト先にもいづらい状況になっていきました。今も返済をつづけているのですが、返さなくていいと言ったことを彼は覚えているのに払わなければならないことと、こちらは本当に同情して一緒に遊んでいたという感じだったので、納得がいっておりません。何より、親の電話番号や住所もたぶん調べて知っているんだと思うので、いつ連絡されてしまうのかという恐怖がずっとあります。以前詳しくは聞かなかったのですが、警察にお世話になったことがあったという話を一度聞いていたので、自分だけでなく家族が危険な目に遭ってしまわないか、とにかく怖いです。
誰にも相談できずに困っています。
素性のわからない相手の言葉を全て信じてしまったこと、私が思わせぶりな態度をとってしまったことに気づかなかったことは反省しております。
LINEを見るのが一時期トラウマになってしまったので、一度削除してしまい脅された文書が残っておらず、大変難しいと思うのですが、どなたか相談だけでも乗っていただきたいです。
コロナの影響もあり、収入が減りお金を支払うのが本当にきついです。

もらったお金であれば返す必要はありませんが、借りたものであれば返さなければなりません。

一度借りているものだと認めたようなやりとりがあるということですから、相手方としてはそこを強く主張してくると思われます。
やりとりを消してしまっているというところがまずいですが、一度恐喝やストーカーとして最寄りの警察署にご相談されてください。
またお近くの法律事務所にもご相談され、これまでのやりとりを具体的に検討してもらい、返済しなければならないのかについてアドバイスを受けてください。

警察への相談や法律事務所への相談をご遠慮される必要はありません。
無事解決するように祈っております。