面会交流調停の調査官調査について。

DVモラハラの元夫に面会交流調停を起こされ、判決で会わせることに決まってしまいました。連れ去られる可能性もあり、今までの不誠実な対応もあるので電話交流でと伝えたのですが…。
ありえないと思い、抗告しました。
すると調査官調査のお願いが来ました。
私が付き添うので仕事もなかなか休めないし、子どもを平日学校を早引けさせてまで行かせないといけないようです。調査官調査を断ると抗告棄却になるようで、強制ですよね。
私が暴力受けて入院したときの診断書や子どもに対しふざけて骨折させたときの病院の領収書があっても、こんなことになるなんて。
どうしたら調査官調査で会わせないようにできるのか対策を教えてください。

・「調査官調査で会わせないようにできるのか」

会わせたくないという意図がわかりません。
面会交流だけでなく、親権変更を求められるリスクが生じます。