先月知り合った建設元請け先からの仕事で口約束の仕事をブッチしました。賠償責任は問われますか?

リフォーム、建築業を営む個人事業主ですが、昨日元請け(元請けと言っても下請け契約書ももらっていない、工事の内容などを口で聞き、工事の資料、企画、マニュアルをもらっただけ)の仕事初日にバックれました。
理由は建設業法19条により定められている、「建設業においての請負契約の場合は契約書を書面で交付しお互いが保管する」と言う決まりがあるのに対し、その契約書もいただいておらず工事着工日に至り、契約書の説明は一切なく工事代や支払日も曖昧でこちらも職人に代金を提示できないし、着工後一方的に安い金額にされたり未払いでトラブルになりそうな元請け先だと思い、周りからもそのような会社であれば差でトラブルにならないためにも関わらない方がいいと言う話だったので初日行きませんでした。(後々考えれば僕も関わりたくない騙されたくないと思い、何もそのことについて連絡していなかったのは悪かったです)
その初日の夕方、元請け先の社長が家に来て、話し合いになりました。
社長は今後仕事どうするの、オタクらのために取ってきた仕事なのに仕事しないのならこの仕事を応援呼んで補うことになるからその分の費用は請求するし、それに応じないなら顧問弁護士がいるから裁判するからと言われました。
僕としては請負契約書を巻かれないことが初めてで、あまりまともな会社じゃないと信用ができない状態なので今後も関わりたくないので仕事を受けるつもりはないです。
この場合、契約書を巻かれていなくて金額等しっかりとした提示がなく仕事に行かなかったとしても、弊社は相手がその仕事を完了するために補うための応援代を払わなくてはならないのでしょうか。
賠償義務があるかご教示いただきたいです。

請負契約は諾成契約(合意のみで成立する契約)であり、建築業法上の書面交付義務は、契約の成立要件ではないため、合意により契約が成立していたとなると、一定の賠償義務が発生する可能性があります。
お書きになった事情であればそもそも合意が成立していなかったと主張する余地もありそうですし、賠償額についても争う余地が大いにありそうです。
現時点での支払いは断ったうえで、具体的な請求が来た場合には弁護士に相談されるべきかと思います。

ご回答いただきありがとうございました、参考になりました。