諦めるしかないでしょうか?

5月31に妻が勤務先の27歳の独身男と遊びに行きました。妻の車(私名義)の車をコンビニに長時間放置した為、警察から私に連絡が来ました。妻に連絡しましたが全く電話には出ませんでした。(後にわかったのですが携帯を車に置き忘れたとの事でした。)
連絡がつかないので自分がコンビニに電話し、謝罪。コンビニから男の車に乗って出かけたと聞き、仕事先を途中離脱しコンビニで2時程待っていたら妻だけ姿を表したので、帰ろうとしていた男を呼び戻させ3人でコンビニに謝罪。駐車場で聴取すると9時から戻るまでドライブしていただけで肉体関係は無いの回答。5月26日にも二人でネットカフェで1つのブースにいたそうです。
かなり頭にきていて、警察、コンビニへの謝罪、仕事の離脱、精神的苦痛等も含め男に示談金として100万円支払う様に一筆書かせました。
一筆書かせる際に仕事を退職する様に言ってしまったのと、勤務先の所長に男を退職させる様に電話してしまったのはまずかったと思います。
5月8日に勤務先の所長に電話して撤回はしました。
今日、男から連絡があり弁護士に相談して民法90条を行使する。示談金、退職等に関して今後要求がある場合警察に通報すると言われました。
精神的苦痛、家庭不和、妄想による睡眠不足など精神的にもまいっています。
妻からは慰謝料の様な物をもらう事になりました。
自分はお金は手にできなくても構わないので、男のした事が社会的に認められないと言う事を教えたいです。きちんと弁護士さんにお願いした方が良いのでしょうか?
ちなみに4月23日に自分が16時頃帰宅するとこの男が家にいました。二人でプレイステーションをしていただけだと言っていましたが、自分がリビングに入った際コタツで肩を並べて座っている二人、カーペットの上に座布団を折り曲げた枕、そそくさと靴下を履く男を見ました。10時頃から来ていたそうです。
何度聞いても肉体関係は無いと言います。肉体関係があった証拠もありませんが、無かった証拠もありません。
最近、自分でわかるくらい情緒不安定です。
なんとか男に示談金を払ってもらえないでしょうか?100万円でなくても構いません。安くても構いません。お金は弁護士に報酬として全部お渡ししても構いません。とにかく男に大変な事をしてしまったと思わせたいのです。なんとかならないでしょうか?

出来事を再整理して、弁護士に相談するといいでしょう。
相手の男は、疑われて当然です。
家庭の平穏を脅かす親密な交際はあるので、慰謝料請求
は可能でしょう。