個人間のお金のトラブルです。

数年前、私に好意を寄せている男性から20万円を借りました。当時生活に困っており、生活費に充てる為です。
当初、就職が決まったら分割で返済しますという約束で借りましたが、恋愛関係になるなら返さなくて良い、また一度会って欲しいと言われました。

男性とは以前に2度程会っておりましたが、かなり私に執着しており、一度予定が合わず約束を断った際に脅されたり、自宅に勝手に荷物を送りつけられ、好意で送ったのに何故すぐに御礼を言わないんだと理不尽なことを言われたりしました。
恋愛関係になること、直接会うことを断ったら、詐欺罪だと言われた為、相手は分割で返済することを求めましたが(おそらく私との繋がりを終わらせない為)、なんとか説得して一週間以内に一括で返済しました。 
直接会うのは怖かった為、振り込みで返済し、返済の確認連絡も貰いました。

しかし、その後貴方のやったことは詐欺に該当し、傷つけられたから謝罪をしてほしいと言われました。直接会うことを断ると、謝罪文を書けと連絡が来ました。その際、別の法律相談サイトで相談し、債権債務は解消されているから無視しても良いと言われた為、無視していたところ先日また同内容の連絡が来ました。謝罪文を送らないと弁護士から書面を送ると。

お金を返済していても詐欺罪になることはあるのでしょうか?また、このまま無視していても大丈夫でしょうか?
出来ればもう2度と関わらないようにしたいのですが、どうすればよいでしょうか。

だまし取る意思も行動もないため「詐欺罪になる」との男性の発言は間違い、単なるハッタリでしょう。弁護士からの通知も来ないとは思います。

法的には静観して、訴訟でも何でもできるものならやってみろの態度で構わないのですが、気がかりなのが逆恨みによるストーカーまがいの行動に発展する危険です。
もし脅迫的文言が届いたり、不安を感じるような物品を送りつけられたりしたら、警察のストーカー相談窓口や弁護士に相談することをおすすめします。