どのように対応したら良いか教えてください

個人事業主です。確定申告のみお願いしていた税理士がいるのですが、質問しても返ってこなかったり一方的に確定申告の提出期限を突然1月中旬迄にされたりと色々不満がありました。
先日、納得いかないから契約解除してほしいとメールで伝えました。
その後1週間しても返信がこないので何度か電話やメールで催促しました。
高齢でかなり上から目線の税理士だったのでかなり気分を害したのか、「文句があるなら訴えろ」「貴方の態度にはかなり問題がある」として今後のやり取りは全て記録親書や書面にしろと言われて何もいえない言えない状況になりました。
また、返金や資料の返却を求めていたのですが、「そんなに何度も催促するのは普通じゃない」と言い出して過去の買掛金や売掛金等検査が必要だから相当日数かかると言われてしまいました。
嫌がらせの様に思ったのですが、こういった場合受け入れるしかないのでしょうか?

クラウド会計を使用しており、そこの紹介で繋がった税理士なので運営にも問い合わせましたが当事者同士で解決してくださいという回答でした。
アドバイザー(契約中の税理士)欄は税理士の方からしか削除出来ずずっと残ったままなので次の税理士を見つけることも、今年の確定申告をこちらで勝手に進めても問題ないのかもわからず不安です。

確定申告が遅れる可能性がありますので、ご自身で行いましょう。
解約通知を書面で送付し、コピーを取るか、内容証明郵便で送りましょう。

ご回答いただきありがとうございます。
今後は書面でと言われているのですが送った場合は裁判所でお会いしましょうとメールに書かれていました。これは気にする必要ないのでしょうか。

あなたが何か請求されるものはないと思います。
むしろあなたが請求するものではないかと。
場合によっては懲戒請求を考える必要もあると思いますので、ご心配であればお近くの弁護士に相談してもいいと思います。

ありがとうございます。安心しました。