任意整理中の支払い困難について、司法書士との連絡が困難です。解決方法を教えてください。

現在、任意整理中ですが、司法書士の方と話ができず、いつも事務の方と話ばかりです。支払いがつらい旨を相談しても何も変わりません。今後どうしたらいいでしょうか?

弁護士に相談して、破産か個人再生に切り替えたほうがいいかも
しれないですね。
司法書士のほうは、弁護士が話をしてくれるので、あなたはなに
もしないでいいですよ。

既に着手金32万円は支払済みなのですが、そちらは戻ってこないのでしょうか?

戻らない可能性が高いですが、話してみるべきでしょう。