再婚による養育費について

再婚した男性には離婚歴があり、原因は元奥様の度重なる不貞行為と育児放棄にあります。食事を作らなかったり、週末は嘘をつき外出さは不貞行為をしていたそうです。
協議離婚で親権を譲らなかったため、元奥様が子供2人を連れ養育費を支払っているそうです。
私も離婚歴があり子供もいます。主人との間にも子供を望んでおり私の身体の問題で不妊治療中です。私の仕事は別の病状の関係で現在休職中です。再婚により扶養者が増える為に養育費の減額を相談したところ拒否され、借金してでも払う義務があり裁判所で差押えてもらうから、と言われました。
元奥様は不倫相手との関係が続いており、現在の仕事は知りませんが自身で高級車にも乗る程の金銭的余裕があるようです。
離婚協議書だけでは給与差押えは出来ないですよね?こちらからの減額請求はできないものでしょうか?また、元奥様が事実婚状態なら子供の養育義務は不倫相手にもあるのではないですか?
ご教授よろしくお願いします。

追記です。
主人が市がやっている弁護士相談へ行ったそうで、上記相談すると、「離婚協議書で差押えはできないから、払わなければいいじゃないですか。こちらから裁判を起こすと費用もかかるので向こうの出方を見てみては?」と言われたそうです。そういうものなのでしょうか‥。また、それで良いのでしょうか?

裁判所の養育費の調停に関するサイトにも以下のような記載があるように、養育費の取り決め後に再婚等の事情の変更があった場合には、養育費の額の変更を求める調停を申し立てることができます。ご主人本人で申し立てるか、お住まいの地域の弁護士に依頼して申し立てることを検討してみてはいかがでしょうか。

「また,一度決まった養育費であってもその後に事情の変更があった場合(再婚した場合や子どもが進学した場合など)には養育費の額の変更を求める調停や審判を申し立てることができます。」

【参考】裁判所サイト「養育費調停」
https://www.courts.go.jp/saiban/syurui/syurui_kazi/kazi_07_07/index.html

清水先生お忙しい中ご回答頂きありがとうございます。
追記で記載したのですが、弁護士さんへ相談をしたところ上記回答だったようです。他にも、元奥様から迷惑行為を受けています。人柄的にも問題がある人だと聞いていますが、解決しなくてはならないのは養育費問題だけではなさそうでした。また悩んでみます。ありがとうございました。