養育費の過払い請求を断れない?

兄が5年前に離婚し、今まで塾代、携帯代(2人分)、車代、また都度学校用品や修学旅行等全額負担していたようです。(高2と中3の子供2人います)
1年前に再婚し、子供が生まれたのですが、最近うつ病が再発し休職せざるを得なくなりました。
その為、元嫁に今までの様にこれ以上お金は負担出来ないと話したところ、子供を養う義務がある!養育費は貰って無いのだから、調停にかけて請求する!こちらの方が大変な思いしてる!と聞く耳を持たず...兄の精神バランスが余計に崩れてしまいました。
養育費を払っていないどころか、こちらとしては過払い過ぎな位だと思っています。
確かに養育費を負担する義務はあっても、全額請求されたら負担しないといけないのでしょうか?
過払い請求に対して、返還を求めたい位なのですが。。。
調停にかけて、きちんと養育費の額を取り決める予定でいますが、毎月決まった額以外にも、現状負担すべきなのでしょうか?

補足ですが、鬱になった原因は元嫁にありましたが、兄を見捨て家族の反対を押切、子供2人を連れ出ていきました。
家を建てて1年足らずだった為、ローンも残っており、今の奥さんの連れ子2人と9月に生まれた子供3人いる状況です。

離婚する際に、塾代、車のローンの残債は支払うと2人で取り決め、書面に残しているようです。
しかし、収入や家族扶養等も変わり、何より負担しすぎて兄の貯金も残っておりません。
車は、元嫁所有です。

調停にかけて、きちんと養育費の額を取り決める予定でいますが、毎月決まった額以外にも、現状負担すべきなのでしょうか?
→当事者双方に金額に争いがある場合に取り決めをする手続きが調停または審判になります。
金額に争いがあるのであれば調停などで金額を決めればよいことですので、請求された金額をそのまま支払いをする義務はありませんし、調停で決まった金額以上の金額を負担する義務まではありません。

早速のご回答ありがとうございます。
調べてみたところ、修学旅行や、入学準備費用等、特別費は増額の対象になると記載してあったのですが、合意しなければ養育費以外に負担する必要は無いのでしょうか?
4月、長男が高校入学するため制服代や準備費は全て請求するつもりだと思います。(長女の高校入学、長男の中学入学の際も全て負担させました)
また、来年長女が大学進学の予定で、そこまで負担出来ないと以前から話しているにも関わらず、兄に請求するつもりでいるようですが、こちらも拒否出来るのでしょうか?
うつ病の再発により、今は休職中で兄の精神バランスが不安定な為、元嫁との接触も控えさせようと思っているところです。