相手配偶者からの事実無根の浮気疑惑による精神的苦痛と対処法についての法的助言を求めます

4/30夜、以前から誘われていた男性と職場の男性と2人で居酒屋に行ったところ(小一時間程)、その場で相手の配偶者に浮気を疑われ電話を変わられて叱責され、すぐ解散しました。
ちなみに同僚28、私40です。

そもそも奥様には話してきたと本人から聞いていましたし、仕事の話ししかしておらず、なぜそこまで激怒されるのかもよくわかりませんでした。

それから数日後の5/3に同僚から
「LINEを見られて浮気を疑われている」という連絡がありLINEも仕事の内容がほとんどでしたので腑に落ちない中、私も友人等にも相談し
5/5に「浮気を疑われることは心外であります。連絡先を消し今後職場でも話さないのでそちらでも消して欲しい。必要であればこちらの画面を奥様に見せて、そちらでも私の連絡先をブロックした上で消去して欲しい」
と連絡し私の方もLINEをブロックそして連絡先を消去したところ、余計に逆鱗に触れてしまったようで、配偶者の方がFBでアカウントを新たに作成し私を探し特定し私に連絡を取ってきました(DM)。
SNSで特定からのDMは怖いですし、やめて欲しい。食事に行き不快にさせてしまい申し訳ありませんでした。しかし謝って連絡先消してもう関わらないと伝えてもこうゆうことをするというのは仕事を辞めれば満足でしょうか。あなたの旦那さんには何の興味もないので終わりにして欲しい」
と伝えましたが火に油な様子で
「夫の携帯で名前を調べて検索しただけで見つかるあなたのセキュリティが甘いだけ。こんなのは特定と言わない。落ち着いてください。あなたは事を大事にしたがっています。私はあなたと話し合いがしたいだけ」などよくわからない内容が続いており不快かつ恐怖でしたのでブロックしました。

指1本触れておらず、男性として興味もなく、甘い言葉などもお互いに囁きあってもいないのでここまでの精神的苦痛を与えられている理由が理解出来ません。
また新たなアカウントを作り接触してくるのではないか、職場に電話をしてくるのではないか、と私は仕事に行くことが出来なくなりました。

わたしとしては不当な扱いと感じているのですが、法的に私は悪で最悪訴えられる可能性はあるのでしょうか。夫婦喧嘩に巻き込まれ精神的苦痛をしいられ私が訴えたいほどの気持ちです。今後どのように対策すればよろしいのでしょうか。

よろしくお願いします。

まずは相手夫婦どちら側からもこれ以上つきまとわないようにして欲しいと思っております。

訴えられる可能性はないので、今後一切、関りを持たないほうが賢明でしょう。
あなたなりに、十分、対処したと思いますよ。
相手に、言わせるだけ言わせておけばいいでしょう。
証拠として残しておいたほうがいいですね。

ご回答ありがとうございます。今後も他のSNSで特定されて何か言われたり(鍵にしたので大丈夫かと思いますが。)特に職場に電話が来るなど私の社会的立場を不当に下げるようなことがあった場合は弁護士名義で「もう近寄らないように」等の警告をお願いすることは出来るのでしょうか。

違法性が認められるようになれば、警告できます。