名誉毀損について認められますか?

先日夫が職場の方と肉体関係は定かではないですが、会っていることがわかりました。
子どもがいるのに家に帰らず、朝まで一緒にいることが続いており、その相手のことの方が好きだと言われ、ショックで思わず相手の職場(掛け持ちなので、別の方)に電話をかけました。
しかし、業務時間外で電話が通じませんでした。
電話をかけたことに対して名誉毀損で訴えると言われたのですが、名誉毀損として成立するのでしょうか。

誰から訴えると言われているのでしょうか?夫ですかね?
電話が通じていないなら名誉毀損はありえません。