出張中の飲み会で口元を掴んだ行為はセクハラになるのか?

自分は妻子ある40代男性です。最近転職しました。転職後、知り合いがいなかったこともあり同僚の女性とライン交換し、1-2週間に一度くらいにラインでラリーするようになりました。それをみた旦那さんから飲み会の席で掴まれてすごい剣幕で怒鳴りつけられました。そのあと不倫関係は無かったということで収まっています。仲良さそうなラインだったとは思いますが、実際に二人で会ったことも会おうとしたことも無いし、性的なやり取りは一切含まれていません。その状況が収まる前に行った出張で、自分がショックを受けていたこともあり、旦那さんからどんなことをされたのかと、出張中の飲み会の席で、別の女性に聞かれ、自分が怒鳴られ、口元を掴まれた状況を説明しました。その説明のために自分はその女性の口元を掴んで説明しました。その場にはもうひとり別の男性がいました。その後出張は、特に何かあったわけではなくふつうに終わりました。むしろ一緒に行った女性からは出張後励ましのメールがあったりして、自分としては何もなかったと思っています。しかしそこから一ヶ月半経って、その口元を掴んだのがセクハラだと自分が会社内で訴えられようとしています。

自分が女性の口元を掴んだのはあくまで状況説明のためで、相手の意に反する性的言動には当たらないと思いますが、これはセクハラになりますか。

不要な身体的接触を伴い、かつ事前に明示的な「任意の」同意もないとすればセクシャルハラスメントに当たる可能性は高いでしょう。
第三者の目から見れば女性の口元を掴む行為には必要性があったとは考えがたいです。
また、仮にその場では同意したように見えても、年齢差や関係性から断ることができなかった、つまり任意ではなかったと後から言われれば、口元を掴むという行為がセクシャルハラスメントと認定されてもやむを得ないと考えます。

ありがとうございます。
どの程度の重大さになるのでしょうか。一般的に懲戒などに当たるのでしょうか。
別のサイトでは「セクハラは、相手に対する「性的な嫌がらせ」を意味します。あなたが女性の口元を掴んだのはあくまで、状況説明のためで、相手の意に反する性的言動にも当てはまりませんから、セクハラにはなりません。」とも返答をもらっています。そちらとの整合性について回答いただくことは可能ですか?

ちなみに相手は自分より存在年上です。社歴も相手の方が上ですので断れなかったとは言えないと思います。

ちなみに相手は自分より3歳年上です。社歴も相手の方が上ですので立場上断れなかったとは言えないと思います。