婚約解消後の交際で慰謝料請求される可能性はあるか?

約3年交際した彼と婚約解消しました。
その際に婚約解消を双方が認めた合意書を作成し、「お互いに何らかの責任を負わず、債権債務がない旨を認める」と記載し、互いに署名と捺印をしました。
その1ヶ月後、彼と共通の方と交際を開始したところ、元婚約者から不貞による精神的苦痛による慰謝料請求をされました。
婚約中にその方と男女関係はなかったです。
この場合、慰謝料請求応じなければならないのでしょうか?

婚約中に肉体関係がなかったにも関わらず、相手方が勘違いをして請求しているのであれば、慰謝料請求に応じる必要はないかと思います。

肉体関係はないため、元婚約者に対して証拠を提出するよう求めましたが、提示がないまま控訴すると言われてしまっている状態です。
相手側は婚約中から男女関係があったのではないかと勘違いしているようです。
こちら側ができること、やるべきことはありますか?