不倫発覚後の証拠集めと誓約書の効力についての法的対応は?

当方不倫サレた側です。
不倫バレした後、慰謝料請求(現在まだ支払い未)
その後、相手に誓約書を書かせたところです。
※小さい子供がいる為、離婚せず再構築中です。
発覚してから不倫相手を突き止める為に独自に証拠集めをした際、友人知人と色々な方へ協力いただきました。ですが、相手が旦那の元職場の事務員だった事が発覚したのでもちろんその際に旦那の元職場の方へも証拠集めの協力を依頼しました。
※誓約書を作成したのは↑の証拠集めの時期よりかなり後のことです。

誓約書の内容に「他言無用」と記載しているのですが、そもそも発覚〜証拠集めの段階で相手の職場含め不倫の事実を話してしまっています。誓約書を作成した後からは誰にもこのことは話してませんが...
要は、今になって不倫の噂が相手の女の職場に流れてしまっているようで「誓約書の約束を破った」「慰謝料は払わない」と相手弁護士から話が出ているとの事で対応に困っています。
この場合、私が誓約書の約束を破った事になるのでしょうか?慰謝料の件も、泣き寝入りするしかないのでしょうか...?
感情論になる事を避ける為冷静を装っていますが、かなり辛い状態です。相手に罪を償わせたいのにこんな事を言われて開き直られるなんて思ってませんでした。
この後の対応のアドバイスをご教授いただきたく、お願い致します。

誓約書を直接見ておらず、具体的にどのようなやり取り等があったのかの詳細も聞き取っていないので、ご案内の正確性には限界がある前提でお聞きいただきたいのですが、「他言無用」との記載の違反かどうかに関わらず、職場に問い合わせた・協力を求めたというのは、一般的には、名誉毀損等の責任をこちらが問われるリスクはあるところです。
誓約書でそのことも含めて解決するような内容であればともかく、そうでないと解される場合は、別途こちらが慰謝料請求等されるリスクがないとは言えないように思われます。

『「誓約書の約束を破った」「慰謝料は払わない」と相手弁護士から話が出ているとの事で』とのことで、そもそも噂程度で実際に何か問題が生じていないようにも思われますが、個別具体的なリスクやとるべき対応は、誓約書の内容や、求めた協力の具体的な内容等も詳細に聞き取る必要があります。
ついては、これ以上に個別具体的な内容については、お近くの弁護士事務所等にて、直接弁護士に資料等見せたうえでご相談されてみてください。

実際の誓約書の内容がどのようなものかにもよって変わりますが、誓約書作成以後は口外しないという書面であれば、誓約書違反とならないこともあるでしょう。

また、不倫の事実を職場に話していた点についてはプライバシー権の侵害や名誉毀損となるリスクがあるでしょう。

ご自身での対応に限界があるようにも思われますので、一度個別に弁護士にご相談されると良いでしょう。