不倫関係による名誉毀損訴訟の可否及び念書の取得について

私は既婚で子供のいる身でありますが、職場の独身男性と不倫関係にありました。
ですが、その彼に彼女ができたため、不倫関係を解消する事になりました。
最初は友人としての関係は続けていく約束でしたが、彼女との事が受け入れられず、次第に口論が増えて、最終的には一方的に電話やLINEを拒否されてしまいました。

彼との交際中に、私は経済的理由で彼と同じ職場(職場A)から転職しました。
ですが、転職先(職場B)での人間関係が上手く行かず、来年度から別の職場(職場C)へ転職する事が決まっています。
ですが、職場Cへ面接に行った際、職場Aでの元同僚に偶然会い、「来ると思った」と気になる一言を言われましたが、面接中であったためその場ではそれ以上の話は聞けませんでした。
私が職場Bを辞めたがっている事は彼も知っているのと、職場Aの人2名にのみ、偶然会った時に話しました。
ですが、元同僚のその一言で職場Aで私が職場Bを辞めたがっている事、でも職場Aには戻らない(実際は彼と彼女がいるから戻れない)事が噂として広まっている事を察しました。
職場Aは人間関係が密接で、彼の肉親も彼女も同じ職場Aで、他の職員同士も夫婦や親子、兄弟、元恋人同士の関係の方が多数います。
また、田舎なので私と同じ地区の人や、子供の学校が同じ人もいます。
そのため、一度噂になると一瞬で噂が駆け巡ります。
更に、職場Bにも職場Cにも職場Aの肉親や元同僚がいるため、こちらにも噂が広まる可能性が高いです。

彼と交際中に不倫がバレたら離婚される事も覚悟していましたが、彼と別れた後になって不倫の噂が夫の耳に入る事は避けたいです。
彼は私との交際中にも、同じ職場の自分の肉親に私との関係を告白しようとした経緯があります。
そのため、私と別れた現在、過去の事として肉親や彼女、その他の同僚に私との関係を告白している可能性が高いです。
この場合、名誉毀損として彼を訴える事はできますか?
そのためには、明確な証拠や証言がなければ駄目なのでしょうか?
もしくは、今後一切私との関係を口外しないよう、念書を取る事は可能でしょうか?
アドバイスの程、よろしくお願い致します。

不貞関係について言いふらしていた場合には名誉毀損となり得ますが、その証拠が必要となります。

交際関係の終了に際して合意書を交わし、接触禁止や口外禁止、守秘義務等を合意し抑止力とすることは、相手との合意が取れれば可能かと思われます。

ご回答ありがとうございます。
証拠については、具体的にどのようなものが必要になりますか?
録音等がなければ難しいのでしょうか?
弁護士さんのお力をお借りして、本人と面会し、本人から口外したとの証言が取れれば名誉毀損として訴える、取れなければ口外禁止等の合意を得る事は可能ですか?