委任契約の弁護士を解任後の着手金返還請求の紛議調停で相手弁護士から調停費用請求される可能性について

数か月前に委任契約書を弁護士と締結しました(着手金を前払い、中途解約の場合の清算条項あり)。委任契約の仕事完了前(委任業務初期)の段階で、弁護士側に信用できない言動が続き、信頼関係がなくなったため、こちらから委任契約の解約(弁護士解任)を弁護士に伝え、すでに入金した着手金を仕事の完成度合・費用を清算して返金するよう依頼したところ、弁護士から現時点で返金できる金額ではない(着手金以上の時間と費用を要しており)と連絡があり、納得できる働きはないため、こちらが返金額を巡って弁護士会の紛議調停で解決する意思を伝えたところ、弁護士が紛議調停対応で要した時間を費用として請求すると連絡がありました。弁護士または私が紛議調停を申し立てた場合(弁護士側から最終和解案として微々たる金額が提示され、これで納得しないと紛議調停を申し立てると連絡あり)、調停が始まると思うのですが、相手方弁護士が紛議調停で要した時間(費用)はこちらで負担しなければならないのでしょうか? 紛議調停でこちらが費用を負担しなければならない状況というのがございましたらご教示いただけますと幸いです。
なお、委任契約はすでにこちらから終了させ(紛争解決条項の定めなし)、弁護士側も終了(解任)で同意しています。よろしくお願いいたします。

相手方弁護士が紛議調停で要した時間(費用)をあなたに請求できる根拠はありません。
そのような連絡が書面で来ているなら、根拠のないことを告げていることで懲戒理由になりかねない対応ですね。

>相手方弁護士が紛議調停で要した時間(費用)はこちらで負担しなければならないのでしょうか? 

そのようなことはあり得ません。