浮気相手からの金銭要求、返済義務はあるのか?

2年ほど前、恋人がいながらも関係を持ってしまっている女性がいました。

女性は自分に恋人がいるとは知らずに会っておりました。
金銭的に苦しく、当時はその女性から会うたびに3万円ほど貰っていました。
またクレジットカードも渡されていたり
あとは貸して欲しいと伝えて借りたお金もあり
総額30〜60万円ほどだったと思います。

浮気発覚後、自分の彼女含め、3人で話す機会がありその際に今まで借りてたお金を全部返すべきではという話にもなり、自分も返すつもりでしたが、浮気相手がご厚意で渡してたお金なので返済は不要との話で当時は終わっています。

その後何ヶ月かして、浮気相手からメールが届き「全額は自分も把握してないので無理だと思いますが、やはり15万ほど返して欲しい」と言われたので15万円返済しました。

それから一年経って、「全額返せ、弁護士を立てるぞ」と毎日急き立てるような連絡が来ております。

当時解決したと思っており、自分も驚いていますが現在、連絡を一貫して無視している状況です。

借用書はなく
不利な証拠としては貸して欲しいと自分から送っている文面が残っています。

・相談したいこと

この場合向こうから弁護士を立てられる場合
返済する必要はありますでしょうか?

15万円で話がついているということで反論することになるでしょう。
その合意の背景や文面次第ですが、弁済不要となる可能性はそれなりにあると思います。

話がついてると言うのも口頭で証人はいるが証拠がない状況です。

続けて質問をしてしまいすみません。

またこれ以上無視をすると内容証明を送ると連絡があり、もし送ってこられた場合はどう対処すべきでしょうか?
またこのケースで相手方に弁護士がつく事はありますでしょうか?