恐喝や脅迫で訴えると簡易裁判をされそうです。毎日が不安です!

賃貸契約を私の名義でしました。
一緒に住むという約束をした彼氏は初期費用や家財道具などの料金は俺も出すからという約束をしていました。
引っ越しも終わり、いざ入居できる当日になり彼氏が家に来ましたが「今はお金はないから約束したけど費用は払えない」と言うので私は話が違うと言い鍵も渡さず住民票も別にして欲しいと伝え彼氏を追い出しました。彼氏は「追々払うから」と言いましたが私は許すことが出来ずに彼氏に対して叱責し恫喝もしました。彼氏に「一緒に住む為の費用の約束(借用書)」といったタイトルでノートに一筆記載してもらいました。日付と認印と◯◯円を払います!と書いて貰いました。折半する金額が払えたら一緒に暮らす事を約束して別居しました。
ところが彼氏とは別の女性関係で別れる事になり最終的に一緒に住むことはなくなりました。
別れた途端に「俺の金は返して欲しい!俺はお前に脅迫して恐喝して取られたんだ!誓約書も無理矢理に書かされた!警察にも相談して訴えるし簡易裁判の手続きも取っている」と言われました。
彼氏に払って貰っていた初期費用の一部は返さないといけないのでしょうか???
当時付き合っていて約束を守らなかった彼氏に対して叱責と恫喝してしまったことは脅迫や恐喝になるのでしょうか???
元彼は今現在、元妻と住んでおります。
訴えや警察相談や弁護士に相談なども全て元妻の入れ知恵です。元妻は離婚しているにも関わらず首を突っ込んできます!
また元彼は私に対し「簡易裁判をおこしたいが住所を知らない」と言って来ますが虚言です!
元彼は一緒に住む予定でしたので住所は知っています。なぜ「俺は住所を知らない」と嘘をつくのでしょうか…元彼と絶縁したいのですが元妻が裏で入れ知恵してきて迷惑です

事情がわかりにくのですが、初期費用は結局払ってもらっているのですか?
払ってもらっているとしても特に返す必要はなさそうです。
相手がどうでるか次第ですので、こちらからあえてなにかする必要はなさそうです。
気になるようでしたら実際に弁護士に直接会って相談するとよいでしょう。

匿名A弁護士さまへ
回答ありがとうございます。
初期費用は全額ではないですが20万ほど貰いました。あくまでも半分は出すからと元彼氏が言った事を元にいただいたものです。また元彼氏は分割で払う約束をノートに記載してくれました。そして10万づつ
2回に渡り手渡しで貰いました。1回目は手渡しで受け取り、2回目は私が仕事で不在だった為に家のポストに封筒で10万入れてくれていた形で受けとりました。
でも別れた途端に脅迫され恐喝されたものなので返してくれ!!と言われて訴えると警察と弁護士相談したし簡易裁判手続きも進めていると言われています。