クライアントからの要望が理解できず、不当な行動をされた場合の対策についてアドバイスをお願いします

フリーランスのデザイナーです。先日にとある依頼主からイラストデザインの依頼を受け、対応していました。クライアントに提出するラフデザインを制作し、依頼主に送った所「求めている物と違う・クライアントに出せない」と言われ、再度改善した物を送りましたが「こちらの要望と全然違う、指摘内容が直ってない」などと難癖だけ付けてきました。相当な時間を掛けて制作しており、ラフとしてはそこまで悪い物と思えないのですが、依頼主が難色を示す内容そのものが理解出来ず、困りました。「どこを直せば良いか・何が要望なのか話し合いたい」と提案したのですが、いきなり「他のイラストレーターに頼んで別サンプルの制作をさせている。クライアントにはあなた物と合わせてどちらかを選んで貰う」などと、こちらへの相談・了承も無しに、いきなり他に案件を振られてしまいました。確かに私に依頼しておきながら、納品物に対する適切なディレクション・フォローの責任も果たさず、ただ抽象的・感覚的・個人的な私観によって難癖を付け、再三の私からの改善についても理解しようとせず、話し合いの提案にも応じず、自分とクライアントの都合のみを優先し、依頼内容・約束を勝手に破る行為に、とても憤っています。実はこの案件に対して、依頼を受けメンバーにアサインされた時、発注書はまだ送られませんでした。しかし、だからと言って依頼内容に対して出来る限り誠実に対応した私を、自分勝手な都合によって「クラウドソーシングでのコンペ」のような事に切り替える権利は、依頼主には無いはずです。ここまで対応している内容についても「クライアントが気に入らなかった」理由だけで、全く請求出来ないのでしょうか?
この依頼主の行動を受けて、これ以上取引をするのは止めようと思っていますが、このような場合に私が取れる対策について、アドバイスをお願いいたします。

契約の解除や、その後の誹謗中傷等の禁止を含めトラブルが再発しないよう合意書を作成し、早期かつ円満に関係を断つことを目的として交渉をする必要があるかと思われます。