この場合名誉毀損になるのか

妻がダブル不倫をし、私は不倫相手と連絡を取り合っていました。その際、この時間に連絡取り合おう。と約束しても繋がらない事が度々あり、しかも理由が寝ていたからです。さすがに私もこんな事があったのに寝ていて連絡出来ませんでした。という事が何度もあるのは許しがたく、次またこういう事があれば会社の方に連絡するから。と伝えていました。しかし、すぐに連絡がつかない事があり、翌朝相手の奥さんから 主人は昨日体調が悪くなり職場の人に自宅まで送ってもらってそのまま休んでいた為連絡出来ませんでした。すみません。と連絡が来ました。
今までの事があるのでこれは嘘だなと感じ、本人もあくまで体調が悪かった。と言ってくるので ならば送ってもらった社員の名前と連絡先を教えろ。本当か確認するから。と言ったら個人情報なので教えれない。と言われました。なので、ならば会社に電話して確認するから。と伝え実際に会社に電話をし、代表者に繋いでもらいました。
その時に細かく事情をいってもらわないと。と言われた為に、そちらでお勤めの○○さんとうちの妻が個人的トラブルがあり、連絡するのに取れず後に体調が悪くて従業員に送ってもらって帰ったと聞いたので本当かどうか確認してもらいたいのですが。と伝えました。今まで連絡取れない事が度々あった事も説明しました。
私からは決して不倫がどうとかの話しは一切していません。結局はその代表者から不倫相手が途中で帰ったという事実は知らない。と言われ、細かい事は教えられない。と言われました。

それとは別に、以前不倫相手と奥さんから既に会社には不倫の事を報告済みで退職を考えている。職場には直属の上司が毎日の様に退職を止める為に電話や職場に来て面談を行なっている。と聞いていました。(証拠としてLINEや音声データあり)
毎日面談を行っているという事は、もちろんこの職場の代表者(直属の上司は別)も知っているはずなので、その退職の件も聞きました。すると、その様な報告は一切聞いてない。と言われました。全て相手夫婦の嘘でした。
あくまで私は、相手夫婦から会社に報告済みだと聞かされていたので電話をしました。そうでなければ電話はしていません。
しかし今慰謝料調停で、会社に電話をしてきて、周りの人にバラされた。などと言ってくるのです。
相手の嘘を立証出来る証拠がありますが、私は名誉毀損になるのでしょうか。

具体的な内容について話をしていないのであれば,名誉毀損になることはないと考えられます。
相手方及び調停員にその嘘を立証し,しっかりと相当額の慰謝料を獲得できることをお祈りしております。

藤本先生、ありがとうございます。
私は不倫の内容など何一つ話してもないのに、会社に広められた!など言われ、慰謝料減額の要因の一つにされそうで困っていました。
そもそも、自分が会社に報告した。と嘘を言っておいて私の責任にしようとする行動が許せません。
ありがとうございました。