まだ契約書を交わしていないのですが、キャンセル料金を払ってもらうかもしれないと言われました

地元の工務店でリフォームの見積もりをしていただいたんですが、まだ見積もり書をいただいた段階で契約書も交わしていないのですが、キャンセルをしたいと申し上げたところ、もう発注してしまったからキャンセル料がかかるかもしれないと言われました。
やるなら早めにしたいとは申し上げましたが、見積もり書をいただいた段階で、先方からキャンセルの場合も連絡くださいと言われていたので、まだ契約は成立していないという認識でした。
しかし、先方は、こちらが工事を早くしてほしいのだと認識し、早めに発注した。口頭でも契約は成立する。キャンセル料金を払ってもらわなければいけないかもしれないといわれました。
詳しくは後日電話すると言われました。
消費者センターに相談したところ、こちらが工務店に期待させるようなことを言ったのかもしれない。口頭でも契約は成立する。とりあえず手紙で、キャンセルの意思表示をするべきだと言われ、本日手紙にてキャンセルの意思表示をしました。
確かに工事をするなら早めにしてほしいとは言ったのですが、はっきりするとは言ってませんし、最後に対面で見積もり書をいただいた時にはダメでも連絡くださいとのことだったので、契約はお互いに成立していないという認識でした。しかし、断ろうとしたら、こちらが知らない間に発注されており、キャンセル料金を求められるかもしれないと言われました。
この場合、こちらがキャンセル料金を支払わなければならないのでしょうか?

>断ろうとしたら、こちらが知らない間に発注されており
→ キャンセルさせないために、そのような説明をしているだけで、本当に発注しているのか疑義があります。

>先方は、こちらが工事を早くしてほしいのだと認識し、早めに発注した。口頭でも契約は成立する。キャンセル料金を払ってもらわなければいけないかもしれないといわれました。
→ 口頭でも契約は成立しますが、見積書を受け取った段階で契約が成立していると言えるのか疑義があります。リフォームという契約の性質上、応急の修理等とは異なり、契約書を作成する時間もない程の急ぎではなかったはずです。

消費者センターのアドバイスは見積書などの証拠を直接確認した上でなされた訳ではないように思われます。

そこで、見積書等の証拠を持参の上、一度、お住まいの地域の弁護士に直接相談してみた上で、今後の対応を検討されるのが望ましいケースだと思います。

しっかりと契約書が作成されていない状況で、口頭のみで処理をするというケースは一般的ではないでしょう。

見積もりの段階で最終的な合意に至っていない場合には契約は基本的に成立していないため、キャンセルも可能なケースが多いかと思われます。