借金トラブルに関する法的アドバイスを求めます

以前付き合っていた人に生活に困りお金を借りました。その後付き合っていた人側の原因により喧嘩になり貸したお金は返さなくていい、そのお金あげるから、そのお金で私の罪を無くしてと言われてしまい返さなくていいのかと思っていました。その後また少ししたトラブルに繋がりその子がやっぱりイライラしたからお金返して、あんたの家に行ってやるから、返さないなら警察行こうかと言ってきました。イライラしたというちっぽけな理由だけで一度返済を断ったにも関わらず家に行ってやるからな警察行くぞと言う脅迫のような言葉を言われました。このようなケースはどうしたらいいでしょうか。
お金を返さなくていいと言われた時の録音はあります。また、まず返さなくてよいと言っておきながらやっぱり返せは通らないと思います。法律では禁反言の原則というものがありますし自分の行動や言動と矛盾する挙動は許さないという原則があるからです。

返済免除の意思表示の音声録音がおありのようなので、その旨伝えて、今後も返済を拒むので良いかと思います。

返す必要はないと言うことでしょうか。
また、家に行ってやるからな、金返せよ、警察行くぞなどと言う言葉は脅迫罪になりますか?

返す必要はないでしょう。
脅迫罪となるためには「生命、身体、自由、名誉又は財産に対し害を加える旨を告知して人を脅迫」する必要があります。害を加える告知がそれ以外にあるとすれば該当するでしょう。
第二百二十二条 生命、身体、自由、名誉又は財産に対し害を加える旨を告知して人を脅迫した者は、二年以下の懲役又は三十万円以下の罰金に処する。