同棲している彼とのトラブルについて

5年ほど同棲していて、その彼と別れたいと思っています。
別れたい理由は、
・独立するといって会社を辞め3年経ちますがほぼ毎日携帯ゲームばかりで働く気がないこと(生活費は私が負担)
・彼が気に入らないことを指摘すると大きな声をだされたり、暴力をふるわれること(痣ができるほどではなく、軽く叩かれる程度)
・彼にプライバシーを握られていて家族や友人に会うことを制限されていること
により、結婚を考えられなくなったためです。

希望している事項としては下記となります。
①お互い過去に複数人と浮気をしていました。私が浮気していたことやトラブルになっていることを家族や会社にバレたくない(私の過去の浮気を理由に私は彼にプライバシーを握られています)です。
彼は事を荒立てる性格のため、別れを切り出すと間違いなく弁護士に相談し、私に何かしらの不利益があるように復讐しようとしてくると思います。
③二人で共有貯金した700万円を彼がもっている。700万のうち、400万ほどが彼のお金、300万が私のお金だったかと思います。自分の分は回収したいです。

私は、事実婚や婚約状態ではないと認識しています。
・恋人同士の会話として「結婚しようね」などの会話はあったものの、プロポーズなどはありません。
・同棲するタイミングでお互いの両親には挨拶済み
・彼の浮気が発覚した際に私が「今の状態は事実婚または婚約状態にあたるのか?慰謝料請求できるのか?」を別の法律事務所に相談しようとして、それを彼に見られている。

時系列としては下記です。
交際開始→私の浮気開始→彼の浮気開始→彼の浮気終了→私の浮気終了→現在

私見
別居先行して、共有財産の請求をすることでしょう。
あなたの浮気やトラブルについて、彼が話さない保証はありませんが、
話せば、名誉棄損やプライバシー侵害になるので、彼が不利益な評価
を受けることになるでしょう。
きれいに別れるためには、ご自分もいくらか傷を負う覚悟が必要でしょう。

ご回答ありがとうございます。
私も彼を傷つけていますので相応の罰は覚悟したいと思います。