リフォーム工事請負契約の契約解除をしたいです

中古住宅の購入にあたり、リフォームが必要だったので、不動産の紹介で、ある工務店に見積もりに来てもらいました。
その後、ローン審査に必要なためとゆうことで不動産の指示で工事請負契約書にサインをしました。
その後、身内の紹介の工務店にも見積もりをとってもらい、そちらの対応が良かったのと、予算的にも見合うものだったので、身内紹介の工務店に工事をしてもおうと思い、不動産の紹介の工務店の方を契約解除したいと思いましたが、
工務店の方に契約解除したい旨を伝えると
契約解除はできない
もしするなら違約金50万くらいかかる
物(トイレなど)の発注もかけてるからキャンセルできない
クーリングオフは契約書を交わしてから8日以内
工事は全て自分のところでしてもらわないといけない
と言われました。

契約書は不動産の営業所で不動産の指示で記入
その際、契約書の説明、クーリングオフ、違約金の説明などなし
契約書の原本または控えは受け取っていない。

契約解除を申し出る前に、不動産の担当の方に
工務店を変えても大丈夫か、または業者を分けて工事しても大丈夫か、確認をとったところ大丈夫ってことだったので、契約解除が出来ないと言われるとは思っていませんでした。

また工務店は物の発注をしていると言ってましたが、
見積もりの時以外、1度も顔を合わせておらず、電話なども来なかったので、打ち合わせすらなく、不動産を通して、簡易的な見積もり書を受け取っただけでした。
見積もり書も型番などもなく、こちらも何も聞いていないため、どんな商品を発注しているのか、こちらには全く分かりません。

また契約書は後日確認したところ、不動産の方がずっと持っていたようで、契約書にサインした日から21日後に契約書を渡された状態です。
契約書を確認したところ、違約金に関する事も書いていません。

契約解除はできないのでしょうか?
工務店の言うとおり、違約金を払わないといけないのでしょうか?

実際のところは契約書等を見てみないと判断しがたいところがありますので、ご相談の内容だけで回答いたします。

工務店との契約を不動産会社の営業所でしたとのことですが、契約書の説明、クーリングオフ、違約金の説明などなかったのであれば、特定商取引法でクーリングオフができるかもしれません。
また、違約金などの記載がなければ、仮に損害賠償請求が認められるとしても実損以外の請求は認められません。

書面で解除したことを残しつつ、新しい工務店で工事を進めるといいと思います。
もしもしつこく請求してきたら弁護士から内容証明を送るなども検討してみてください。

回答ありがとうございます!
契約は不動産の営業所で、工務店の方も居なく
不動産の方の指示でサインしました。
その際、契約書に関する説明は一切なく
控えすらもらっていませんでした。
着工もまだなので、工務店側の損害もないと思います。

それでは解除したことを残すことが大事ですね。
支払いなく終えられることをお祈り申し上げます。