注文住宅のキャンセル料について

注文住宅のお金に関するトラブルについて、教えてください。

家を建てようと決めたHMでは、間取りをいただく前に、数十万円払って契約しなければいけないということで、見積金額もまだ分からないまま、とりあえずの契約をしました。
契約の内容としては、敷地調査とデザインプランの提案の2つです。
その際に、こちらの予算や希望の一覧を伝え、金額的に大丈夫かどうかの確認をし、大丈夫そうだったので契約に至りました。

土地に関しては申請に時間がかかるため、間取り決定などよりも先行して行っていただくことになりました。この時点で申請の見積もりのみいただいて、了承しています。

その後、ローンの仮審査をするにあたりHMより、後からローン枠を増やすことは難しいので予算+500万円の枠で申請するよう言われそうしました。

数ヶ月後、間取りと見積もりをいただいたのですが、見積もりがローンの上限を少し超えるくらいでした。
理由として、もともと宅地ではなかったので宅地にするための費用がかなりかかる、ということがあるのですが、元々概算で出していただいた金額からの増額分はせいぜい200万円程度なので、なぜ400万円近く超えてしまったのか…という感じです。(この辺りに関しては近日聞きに行く予定です)

その時にHM側より、完成後数ヶ月はモデルハウスに近い形で使いたいので家を貸して欲しいので、その間のローン等こちらで面倒見る、ということを言われました。

あまりにはじめの予算とかけ離れていたのですが、間取りなども気に入っていたので仕方ないかなと一旦は受け入れました。

しかし、その後HMより電話で土地の申請の費用100万円は見積もりに入っていないので、現金で払って欲しいと言われたり、申請にあたって間取りを決定したので、仮に何かあって話が流れても、デザイン料は払ってもらうことになると言われました。

実際に後で確認したところ、土地の申請費用は見積もりに含まれていたので現金で払うような事態にはならなかったのですが、今回の事で、予算がはじめの話と大分変わってくることや、あまり確認せずにお金の話を電話でされたことなど、不信感がつのってきました。

そこで教えていただきたいのは、ここでキャンセルした場合、先方へ支払う金額は言われた通りの全額(土地の申請費用とデザイン料)になるのでしょうか?
こちらとしては、提示した予算でいけそうだということでお任せしたのに裏切られた気持ちでいっぱいです。
ちなみに、工事請負契約というのはまだ一切結んでいない状態です。

交わした契約は、敷地調査とデザインのプラン提案の契約のみです。
(本来、デザインが気に入らなければこの契約金20万円のみ支払い終了します)

土地の申請100万円、デザイン料100万円については、特に契約書などを交わしておりません。

最大限、敷地調査費用とデザイン料でしょう。
それすら、当初の話に沿った履行をしていない可能性もありますね。
弁護士に全体の流れを見てもらったほうがいいですね。