誓約違反に対する違約金請求は可能ですか?

結婚3年目です。
今年の頭に夫の浮気(不貞行為無し)が発覚しました。
毎日「好き」「愛してる」「会いたい」等のやり取りを行なっていました。2人きりで会ったことは認めたものの、手を繋ぐ程度までしかしていないとのことでした。
その後、夫にやり取りを止めるよう何度忠告しても手段を変えて連絡を取り続けていたため、相手の女性を呼んで3人で話しました(録音あり)
離婚も視野に入れて話し合いをしましたが、2人は二度と接触しないことを誓い、離婚はしないことにしました。その際、夫と相手女性には接触禁止(メールやSNS等の連絡含む)の誓約書にサインを貰いました。違反した場合は違約金を相手女性50万、夫200万を一括払いすると設定しました。

そして先日、結局同じ女性と連絡を取り合ってることがわかりました。そして今週中に2人で会う予定のようです。私がこのことを知っているということは、まだ夫には話していません。
不貞行為に発展するとしてもかなり時間がかかりそうなこと、夫に多くお金を持たせていないためラブホテル等に行く可能性はかなり低いこと、探偵に依頼するにしても接触する日付が絞れないことから、今後不貞行為の証拠をとるのはかなり難しい気がします。
私は今妊娠中で余計な労力を使いたくないので、誓約書通りに違反金が支払われればそれで離婚して終わりにしたいのです。

不貞行為がなくても、誓約書に従って違反金を請求することは可能でしょうか?違約金が高すぎるなど減額請求された場合は断ることが可能ですか?
不貞行為がないのだから支払わない!など言い出す可能性があると思われるので事前に教えていただきたいです。よろしくお願いいたします。

誓約書の文言等を確認しないと何ともいいにくいところがありますが、【接触禁止(メールやSNS等の連絡含む)の誓約書】、【違反した場合は違約金を相手女性50万、夫200万を一括払いすると設定】とのことで、接触により違約金が発生する内容になっているのであれば、違約金の「請求」自体は可能でしょう。ただ、相手方らがごねるなどして裁判になった場合に「認容」されるかどうかは別途問題となり得ます。