不倫締結済み合意書の有効性と、内縁の慰謝料請求可能性について。

不倫の締結済みの合意書(2年前に作成)について。
私の夫と女性が不倫をしました。
2人が会ったり連絡したら違約金を支払う形にしましたが、最近2度目違反で夫と相手夫婦(内縁関係)が話した時に、場の空気に飲まれて、私が相手の女性に違約金を請求しないことを約束したのを、録音音声で確認しました。
合意締結書は私と、相手の女性と締結したものと認識していたのですが、夫が請求しないと言った言葉は有効になるのですか?

また合意締結したときは、相手自身が独身と夫に言ってましたし(フリーだよと言ってたそうです)、弁護士へ情報を渡すため聴取した際も独身と私は聞いていましたが、内縁の旦那はその時も別れてないけどなと話し合いの時にいっていました。
内縁の旦那が言うには、合意締結書を作った時期は諸事情があり、一緒に住んでおらず最近一緒に住み出したと言っていました。

違約金の金額自体は単純計算で何千万円となっていますが、そもそもそんな額を払えると思ってないので、条件付きで減額するつもりなのですが、内縁の旦那は請求してこないなら、こっちも慰謝料請求しない相殺してやると言ってるそうです。
そもそも最近同居し始めた内縁の方は、慰謝料請求ってできるものなのですか?

合意締結書は私と、相手の女性と締結したものと認識していたのですが、夫が請求しないと言った言葉は有効になるのですか?
→あなたと相手の女性との間で交わした合意なのでしたら、夫にはその合意に基づく請求について何らの権利はないため、「夫が請求しない」といったとしても何ら意味はありませんので、あなたが請求できなくなるわけではありません。

そもそも最近同居し始めた内縁の方は、慰謝料請求ってできるものなのですか?
→内縁関係が成立しているのでしたら内縁の夫はあなたの夫に対して慰謝料請求はできます。
なお、同居しているかは内縁関係成立の一要素ですので、他の事情も考慮の上、内縁関係がそもそも成立していないということはあるかもしれません。

他の事情というのは、どう言ったものがありますでしょうか?