社内不倫をセクハラと主張された場合について教えて下さい

夫が職場の女性と交際していたようですが、セクハラとして夫へ慰謝料請求する話が出ています。相手から訴えられた場合、セクハラではないと反論出来ますか。

①関係性としては、夫上司、相手部下(独身)
上司部下の関係ではあるが、同年代の為学生時代からの共通の知人もおり、相談・話しやすい間柄だった
②一緒に働いてる中で信頼もあり、夫の誘いにより社外でも個人的に会うようになった。
(主に相手女性宅)
③相手女性がセクハラされたと主張する時期から1年後の日付にて相手女性が夫へ宛てた手紙があり、告白されて嬉しかった事。好きな時に会ったり、好きな所に出かけられる関係が良かった事。共通の友人に関係について相談していた事。
④1年半以上個人的関係があったが、相手からセクハラされた、嫌だという主張はなかった事

手紙の内容ややりとりから証明できる形で残っており、セクハラだという時期に相手女性も夫へ好意があった事や既婚者と把握していながら交際してますが、別れの縺れか配偶者である私に発覚した事により慰謝料請求を逃れる為か、相手女性は会社にも相談し現在は休職中。セクハラだったという主張をしているようです。
夫と相手女性と当事者同士の問題ですが、既婚者でありながら又既婚者と知りながら、逆にこちらが慰謝料請求したいくらいです。
セクハラではなかったと反論するには厳しいでしょうか。又セクハラと認められたら、私側は慰謝料請求出来ないのでしょうか。

①セクハラを理由とする慰謝料請求
手紙の内容や作成経緯が重要ではありますが、
反論の材料はあると思います。
ただ、「好意をもっていればセクハラは成立しない」という単純な話ではありませんので、相手方がセクハラだと主張している具体的な出来事を踏まえて反論していく必要があります。

②ご自身(妻側)からの慰謝料請求
上記相談概要の経緯であれば、特に請求を妨げる事情にはならないと考えます。
ただ、理屈上は、損害額を争われる可能性や、夫に対して大きい割合(2分の1より大きい)の求償請求がされる可能性はあるかと思います。

③会社対応
就業規則違反を理由に懲戒処分手続きにはいる可能性があります。
弁明書の提出などを求められる可能性があります。
セクハラでないとしても、減給などの処分を受ける可能性はあります。

>相手女性がセクハラされたと主張する時期から1年後の日付にて相手女性が夫へ宛てた手紙があり、告白されて嬉しかった事。好きな時に会ったり、好きな所に出かけられる関係が良かった事。共通の友人に関係について相談していた事。

 ご質問のケースでキーとなる証拠はこれに尽きると思います。
 お互い合意の上だった、合意がなかったという主張立証は正直水掛け論に終わってしまうので、文書・LINE等の記録が重要となります。
 セクハラによる慰謝料請求となれば、いつ頃から職場での立場を利用して・・・という具体的な主張がなされるのが通常ですので、それに合わせてそのような事実がなかったことを主張立証していくことになるでしょう。

 既婚者であることを知りながら関係をつづけたということが確実に言えるのであれば、不貞行為を理由として相談者による慰謝料請求は十分に可能であろうと思います。

ご回答頂きありがとうございます。
不倫関係になる前から夫が既婚者である事は把握しており、配偶者である私に一度発覚し、関係を断つと言われてましたが、隠れて繋がっていた状況ではあります。
セクハラと主張され、嫌だったと言われたら、不倫であっても上司で既婚者である夫の主張は弱いように感じ、私の立場から見ると別れたふりをして繋がっていた不倫関係なので家庭から支払いする事が腑に落ちませんでした。
現段階では何をされ、何が嫌だったのかは話されてなく、セクハラがあったと言われてるだけなので、弁護士介入になると思いますが、相手側のセクハラ主張を聞いてからに対応したいと思います。