名誉毀損になりますか?

6月6日に不倫をしていた男性から、私の職場に不貞行為があると電話をされました。
その男性はお店のお客様で、4ヶ月前に喧嘩をし、私は全く連絡をしていなかったけれど、連絡とりたいとかで頻繁に連絡はきていました。連絡無視をしていたら、お店で待ち伏せされるのも何回もあり、6月5日に待ち伏せされたときに、話がしたいと言われて、それを拒否したら店に言うと言われて、6月6日に職場に電話されました。
私は既婚者で、アルバイトなのですが、社員さんたちに話が回って、信用問題に関わるとも言われ、居ずらくなって職場をやめようと思っているところです。
名誉毀損になりますか?

その男性が職場へ連絡したことの証拠があれば、プライバシー権の侵害や名誉毀損として慰謝料請求が認められる可能性はあるでしょう。

回答ありがとうございます。
職場の社員の人が承認になってくれると思うので、警察に行ってみた方がいいでしょうか?
ちなみにそうなることを防ぐために男性に連絡をとりましたが、ブロックされました。