任意整理の不本意な委託終了について

私は発達障害があり、数年前に借金をしてしまい、返済に困っていたので、去年、司法書士事務所に債務整理を依頼しました。
今月になって急に仕事で出張へ行くこととなり、出張費用が前払いのため支払いが難しく、出張費が戻ってきたら振込しますとローン会社Aへメールしました。
その2日後くらいに司法書士事務所から連絡があり、直接連絡するなら辞任通知書?をローン会社Aへ送ります。そうすれば契約終了となるので今後は直接ローン会社Aと連絡をとってもらうこととなります。と言われたので、私はじゃあお願いしますと答え、直接ローン会社Aと連絡とることにしました。
ローン会社Aと電話をしていると、郵便物をこちらへ送ると言われたので、それは困ると思い一旦司法書士事務所へ連絡し、男性の方へ郵便物がこちらへ届くことは聞いていない旨を伝えると、私が契約終了していいと言ったのでローン会社ABCの3社に既に通知書を送っている。
なのでもう契約は終了しており私から各ローン会社へ連絡してもらうしかないと言われました。
最初に電話をした女性の方が説明不足とあまりにも不親切すぎて怒りと悲しみと今後郵便物が届いて家族にばれたら…と思うとどうすればいいのかわかりません。
何故聞かれなかったのですか?と思われるかもしれませんが、私のような法律の知識がないものは、知識がある人から先に説明を受けないとわかりません。こういった事が起こります、ということですらわかりませんので。。
もう受け入れるしかないのでしょうか?
読みづらい文章で申し訳ありません。
よろしくお願い致します。

弁護士に委任して、改めて、受任通知を出してもらうと
いいでしょう。
それまでは、電話や督促状があなたの住所に来るでしょう。

ご回答ありがとうございます。
別の法律事務所へ委任ということでしょうか?

その通りです。
委任してください。

ありがとうございます!
探して委任しますm(*_ _)m