既婚男性との不倫が奥様にバレてしまい高額な慰謝料を請求されています

既婚男性と肉体関係を持ち、相手の奥様から慰謝料300万円を請求されています。
もともとお互いに離婚は考えていたようで相手男性、奥様お互いに離婚届は両者別々にお互いの名前を記入した
離婚届を所持していました。
相手男性も奥様もお互いに口頭ではありますが夫婦関係が破綻していたことは認めています(6月11日口頭で)。
昨年から奥様も離婚を考えていたようで離婚届けに奥様自身の署名捺印をしたものを所持していたと言っていました。
(6月11日、男性に口頭で通達)
男性は奥様からの長年に渡るモラハラで鬱病を発症し2年間で3度、精神病院へ入院経験があります。
現在も担当医から入院を勧められている状況です。病院でコロナが発生したため入院は見送っております。
5月中旬ころこちらの最寄り駅まで車で来て、男性をそのまま夫婦自宅(名古屋市)まで連れていき
念書等を記入し捺印するまで帰さない、スマホに位置情報を常に入れておくように言われそれをすべて記入、約束、
私と男性の共通の友達と縁を切るように友達達に念書を書いてもらうように強要され、書いてもらいました。
結局、男性が開放されたのは監禁後3日経った後でした。
男性のスマホには離婚に関しての条件等でこの条件をのまなければ訴える、裁判にする等の脅迫に近い文言も
入っており、男性は180万の慰謝料を子供がどうしても納得しないから支払うように、彼所有のマンションを売却した場合はローンを返済した余剰金は奥様がすべて持っていく、マンションから出ていくまでは住宅ローン、固定資産税はすべて彼持ち、その後も2年間家賃の一部として28000円を支払うように言われております。
このような状況の中、私達二人共、精神障害者であり障害年金のみで暮らしております。
一日に100円づつの食費を捻出するのがやっとの状況で法テラスに行っても解決には至っておりません。
どのようにしたらよろしいでしょうか?

ご質問内容を前提とするとそれなりに法的に反論できる余地もあるように思いますので、弁護士に依頼して反論することをおすすめします。