トラブルのあるお客様との契約を解除する方法を教えてください

個人起業主で起業コンサルをしております。
法人のお客様で、コンサルを申し込んだ時は経費計上したいと言う話は一切なく、費用をお支払いいただきました。
こちらのミスで、契約書、請求書、領収書等の書類を一切発行しておらず、コンサル業務全6回中4回を終わった時点で、経費計上に必要な書類がいると言われたので、請求書、領収書、開業届のコピーを提出する旨お伝えしたのですが、それ以前に必要な書類があると言い、その書類が何かを教えていただけません。
そして、このやり取りが精神的負担だと言われ、そもそも経費計上できない契約なら成立しないはずだったと言われ困っております。
こちらの仕事に関しては、評価していただき満足していただいているようなのですが、仕事を一緒にしようという誘いをお断りしてから、このようなことを言われるようになりました。
私も精神的に参っており、コンサルの内容は半分以上終わっておりますが、全額返金し関わりを断ちたいと考えています。
ただ、クセの強すぎるお客様の為、返金後も文句を言ってきてトラブルに巻き込まれる気がしております。
どのようにすれば、二度とこちらに関わることができないようにできますでしょうか?

返金に際して一切の債権債務はこれでないこと、今後は一切関係がなく、相互に連絡しないこと、本件については第三者に開示しないことなどを入れて示談書にすればよいでしょう。