未着工の契約の違約金は支払わないといけないのでしょうか。

私の実家には父(89才、重度の難聴)と兄(63才独身、会社員)が2人で暮らしています。その実家を取り壊して跡地にアパートを建てる計画を2人だけで進めており、昨年6月に契約を結んでいました。そのことに気が付いた隣に住む親戚から7月末に私(2人兄弟の弟)に連絡が入りましたが、その時点ですでに解約の方向に話が進んでいました。親戚交えて詳しく聞いてみるとやはり無理があると判断し、その時点ではまだ何の工事も進められていなかったため、8月中旬に契約の取り消しを申し出ました。
 先方からは契約の取り消しは拒否され、契約どおり違約金が発生する旨の回答をもらいましたが、「正式には本社の判断となるので1か月ほど時間がほしい。」といわれたまま今年の3月まで回答がありませんでした。4月に入り契約どおり内金55万円を引いた320万円を払ってほしいといってきました。4月末までに返答するといってありますが、まったく工事がはいっていない状態でも320万円を支払わなければいけないのでしょうか。内金の返金は諦めています。

先方との間で締結した契約書内にある解除に係るキャンセル料規定を見ないと具体的な回答はできませんが、
アパート建設に向けて、地盤調査等を既に行っており、先方に何らかの支出が生じていた場合
内金を超える金額の支払いの可能性はあります。
一方で、先方の支出が、内金の範囲内に収まるのであれば
内金を超えて支払いをする必要がなくなる可能性もあります。

萩生田先生

早速のご回答ありがとうございます。

契約書のキャンセル料規定は下記のようにかかれています。

(2)発注者が本契約を解除・解約した場合、請負者は発注者に対し、以下①②の合計金額を請求することができるものとする。
① 約定違約金ⅰ工事費内訳書記載の設計・監理等業務費金3,317,600円
        ⅱ営業諸経費金408,100円(請負代金○○,620,000円の0.5%にあたる金額)
② 実費相当額ⅰ本契約書及び覚書印紙代金40,000円
        ⅱ設計・監理等業務費以外の請負者が支出した実費相当額
         (例:伐採・解体費用等)
(3)前項の場合、発注者は請負者が本契約締結時に受領した契約内金550,000円(消費税等含む)を前項の金員の支払いに充当することに予め同意する。

また、工事着工の直前に契約取り消しを伝えましたので、地盤調査も行っておりません。

このままではこちらの言い分も受け入れられず、先方も係争もやむなしとの態度です。その場合裁判所の判断を待つということになるのでしょうか。

重ねての質問で申し訳ありません。

ⅰ工事費内訳書記載の設計・監理等業務費金3,317,600円
ⅱ営業諸経費金408,100円(請負代金○○,620,000円の0.5%にあたる金額)

上記費目及び金額について、さらなる内訳・詳細な内容を先方から示させ、
事実、損害が発生しているのかが争いになるでしょう。
こちらが、支払わなければ、先方から書面で請求書面が届く可能性が高く
任意での示談が無理な場合、裁判などに移行する可能性があります。