退職理由を不倫による退職だと第三者に伝えることは名誉棄損にならないのでしょうか。

使用人兼務役員(取締役〇〇部長)(女性)です。上司(常務取締役)に、会社の組織体制に対する見解の違いや経営方針の違いで退職することとなりました。
私の直属の部下(次長・男性))も会社組織への不信感により、後日退職届を出しました。次長は退職理由については、聞かれていません。
また、次長の奥様が私との不倫を疑い、(仕事上、共に行動することが多かった)会社に不倫の事実があったのかどうかを確認しにきたことが数回あるようです。
部長・次長両名が退職することとなり、部内が混乱すること、対外的にも恰好がつかなくなるという事で、社員数名に、社長より「奥様からも問い合わせがあり、二人は付き合っている。そのため退職することとなった」との話があったようです。
退職理由について、私が上司に訴えた内容と違う内容で伝えられ、それを信じる社員も出ており、四面楚歌になっています。
業界が狭いため、今後の転職活動にも非常に差支えが出ます。
これは、名誉棄損にあたらないのでしょうか。
個人の名誉のため、対外的にもそのような理由で話す前に食い止めたいとは思っていますが、今の時点で訴えることはできるんでしょうか。
また、訴えを起こすためには、何か証拠となるものが必要になるのでしょうか。

社長が、社員数名に対し、不倫してると話をした事実を、立証することができるかですね。
いつ、どこで、誰に対し、どんなことを話したのか、立証できるか、ですね。