払わなくていいと言われた借金について【借用書あり】

数年前、元彼に300万円を借りました。
利息なしの借用書ありです。

一度だけ20万円を返しました。

その後、任意整理をしようと思うので、内容証明を送るための住所を教えてほしい。と連絡したところ、それなら返さなくていい。との返信でした。

返済計画は月5万程度でありましたが、返さなくていいと言われてから今まで返済していません。

ただ最近になって、元気?と連絡が来たり、食事に誘われたり(お断りしています)気味が悪いです。

突然、今更返済を迫られたり、借用書に書いた住所に押しかけられたりしないか、不安になります。

彼の発言通り返さなくていいなら、借金の免除の公的な書類を作るなどして、キッパリ縁を切りたいです。

縁を切るために返済するとしても、月々無理のない範囲で返すことは可能でしょうか。

アドバイスをいただけますと幸いです。
よろしくお願い申し上げます。

返さなくていいい、という文言は、重要です。
メールに残っているなら、それを証拠とすれば十分でしょう。
借用書はただの紙切れになってます。
縁を切っても問題はありません。
公的な書類を作るとか、返済案を送付するなどしないほうが
いいでしょう。
難癖付けて来るなら、弁護士依頼してください。