元夫からの借金返済、精神的負担を軽減する方法は?

事情があり、元旦那より20万円ほど借りています。
借りたときは「大変だろうから、月1万とかでいいから返せる時にゆっくり返してくれ」と言われ、言葉に甘え半年程は余裕もなく返済ができていませんでした。
その後、突然「借用書を送ったので署名捺印して返送するように」と連絡があり、2027年3月31日までに40万円を返済するようにと書類に記載がありました。
利息等上乗せされたのだろうと思い、何も聞かず署名捺印して返送しました。
その後、またLINEが届き「本当に返済する気あるのか」「いつ返済するのか」「毎月いくら返済できるのか」「返信しなければ職場に電話する」など届きました。
体調崩していたのもあり、この連絡に気づいたのが届いた1週間以上あとで、追LINEで「書類に関して控えと本書の2通を送りました。連絡しなければ会社にまた郵送します」と届いていました。
お金を借りたのは事実なので、文句を言える筋合いはありませんが指定された期日をすぎてる訳でもないのに、ここまで連絡を強要されるのは普通に怖いです。
もともと、相手方(元夫、義父母)のモラハラが原因で離婚したので(相手は認めず)、離婚後も何度も復縁を迫られたり、深夜に自宅に来られたこともあり、文面で元夫から責めたてられたり、質問攻めされると精神的にかなりキツいです。
残念ながらすぐに返済はできないため、返済するまでは全て彼の言いなりになるしかないのでしょうか。返済はもちろん期日までにするつもりですが、執拗に連絡が来ることでまた休職してしまいそうなので、その間連絡は取りたくないです。

弁護士を代理人として立てれば、窓口として連絡を受けてくれるため、ご自身が相手と対応をされる必要はなくなり精神的な負担は軽減できるかと思われます。復縁を迫ったり等の事実があるのであればそうした連絡のブロックも含めて弁護士を入れるということも考えられるでしょう。

ただ、40万円の返済に署名捺印してしまっている関係上、返済金額の総額を争うことが難しい可能性があるかと思われます。

また、相手の要求に応えなければならないという義務はありません。返済期日までに返済を行なっていれば債務不履行はないため、こちらに落ち度はありません。