名誉毀損で訴えられてしまいますか

会社を辞めないと名誉棄損で訴えると脅迫されています。
不倫相手は会社の同僚で3年ほど付き合いましたが、最近別れました。付き合い始めて半年くらいから異常な束縛と価値観の違いから喧嘩が増え、そのたびに暴言、人格否定などモラハラ的なことを受け、仕事で普通に男性と接することも怒られ、仕事もしにくくなり、精神的にも辛くなって、会社の元上司に相談をしました。それがなぜか役員の耳に入り、二人とも転勤になりました。
その後、彼はお前が喋ったから、役員の耳に入ったんだ、俺は周りから変の変な噂で仕事がしにくくなったとさらにモラハラと束縛、変な二人だけの約束が増えていきました。ちなみに彼も私も降格や減給処分、注意などは受けておりません。
それからも付き合いが続いていたので、彼からは「男とは線を引いて接しろ」「連絡先を交換するな」「元旦那と連絡とるな」「○○とは連絡するな」と言われ、私も「約束する」と言ってしまいました。また喧嘩の度に、信用がないんだからお前は俺の信用を取り戻すためにどうするねん、と、こちらから意見を出すよう言われました。ちなみに彼の中では、会社の歓送迎会の飲み会、会社全体の行事に参加することは許されませんでした。そういう時は私は彼が怒るのが怖くてウソをついて会を休んでいました。
何度も怒鳴られ、罵倒され、恫喝され、怖くていつの間にか全て従った方が楽と思うようになりました。
しかし少し前に連絡とってはいけない相手と知人の電話を介して話す機会がありました。私の電話でもないし、わからないだろうと思っていたのですが、なぜかそれがバレて大喧嘩になり、「お前、会社を辞めろ」「俺にウソついた落とし前はどうやってつけるんじゃ」とものすごい剣幕で言われ、怖くて「会社辞めます」と言ってしまいました。
そして「会社を辞めないと名誉毀損で訴える、あと色々付け加えたる。辞めたら訴えないし、嫁から慰謝料請求できないようにしてやる」と言われました。
最初は会社を辞めるしかないと思っていたのですが、会社の上司は辞める必要はないと言ってくれています。
私も本心では辞めたくないです。でも怖いんです。近くの弁護士さんに相談に行ったら、恋人同士の約束なんて訴訟にならないと言ってましたし、精神的な被害があって相談したのだから、名誉毀損までに至らないでしょと言われたんですが、不安で・・・。

その先生のアドバイスでいいですよ。
名誉棄損になることはないでしょう。
その人とは決別して、おおっぴらに争ったほうがいいでしょう。