セクハラ、パワハラの実態はあるが証拠が弱い

1年半以上所長にパワハラとセクハラされていました。
4月上旬についに我慢ができなくなり、総務に連絡し帰らせてくださいと電話して会社を飛び出しました。
そこから出社せず、在宅ワークすることになりました。
会社へはヒアリングと私が第三者へ相談した内容やグチのスクリーンショットを提出しました。
ただ事務所が私と所長の2人で誰も目撃者がいないから弱いと言われました。
さらに在宅ワークし、出社せず働く私に業務放棄だとメールがきました。
出社しても色々言われ、在宅でも色々言われおかしくなりそうです。
会社には所長を辞めさせてくださいとお願いしましたが解雇はハードルが高すぎる。
今後ずっと私は在宅なのかの質問にもハッキリしないです。
ちなみに私より前にもたくさん人が入っていましたが、入っては辞め、更には訴訟になった人もいたそうです。
ようやく就けた正社員。色々苦労してようやくなれたので辞めたくないです。
どうしたらいいのでしょうか。
所長は自分が全く悪くないと思っているようです。

サボらず総務の男性の指示の元、在宅ワークしているのに業務放棄だというこのセリフもパワハラに当たりませんでしょうか。

客観証拠がない状況のようですので、
会社側で懲戒処分を行うことはできないでしょう。

人事異動などで対応できないかどうかを協議していく形になるかと思います。