借用書を相手に渡して納得したのに…私も強気で行ってもいいのでしょうか?

ご相談させてください。私は母子家庭で相手は奥さんと子供がいます。仕事で出会い遊ぶようになり付き合うようになりました。いけないこととは、分かっていました。そして、付き合っているうちに私が相手から金銭を貸してもらうようになり初めは返せる金額でした。ですが…生活が困難になり、つい借りてしまって20万ちょっとという金額になってしまいました。そして、喧嘩が増え、凄く上から言う方でもあって、怖さもあり別れを告げました。ですが、こういう言い方は良くないのですがしつこい方でなかなかうまくいきませんでした。会う機会も無くなり連絡しかとらず、相手の機嫌をみながらずっと連絡をとっていました。そして、もう限界がきて、私は彼と会い、借用書をきちんと渡しました。向こうも納得し、もう連絡は返済の時だけするときちんと伝えこれで終わるかと思えば、そんなうまくもいかず、次の日に連絡が来て暴言っぽい事も言われ、分割で返す約束をして、納得してもらえたのに、今度ゎ一括で返せと言ってきたのです。凄く腹が立つしこっちだって文句言いたいのを我慢しているのに…私が悪いのは分かってます、ただ一括では、とても返せず…連絡もきていて、私はどうすればいいのでしょうか…

弁護士に相談するのがいいと思いますが、法テラスで相談するのが
いいでしょう。
一本手紙を出してもらうといいでしょう。

ありがとうございます?