業務委託の解約金(違約金)について

業務委託にて個人宅への荷物配送のお仕事に契約しました。その際、契約書の内容に「45日前に退職の申し出なく辞職された場合は13万8000円の退社解約金を支払う」という内容の記載がありました。
もちろん高額の解約金なので、仕事はハードではないか?など気になる点は質問しました。相手方の説明は、荷物は小物ばかりで一日150件程度、配送地域は近くだが道等を覚えるまで時間はかかる、でも難易度はそれほど高くなく仕事内容は三日ほどで覚えられて、体力も通常健康であれば問題ない(私自身も多少ハードくらいであれば問題ないほどの体力はあります)とおっしゃり、個人の肌感覚になりますが「問題なさそうで、出来そう」と思い、業務委託契約書にサイン致しました。
それから数日後に研修があり、先輩について配送業務を学んでましたが、普通サイズの荷物と重量物がある・配送地域までの距離が荷物センターから遠くにある・重ための荷物が結構ある、荷物センターまで往復しなければならないが重なり、体力面も予想よりきつく、2回目の配送前に「自分には不向きである」旨をお伝えし辞退致しました。
自分で荷受けする前に(研修中)辞退し配送放棄もしていない為、解約金の支払はないかと思ってましたが、本日(6/5)までに解約金支払がなければ弁護士を通してご連絡しますと連絡がありました。
やはり業務委託契約を締結した以上、払わなければなりませんか?
また、支払わなければならないとして、支払いを延期する方法などございますか?
私自身、法的知識はほぼないのですが労働基準法16条を主張しても問題ないのでしょうか?(弁護士が出てきて後ノセで支払義務の法的理由を主張されたりと言った心配があり、面倒になることが億劫です)
不勉強な私へご教示のほど、何卒宜しくお願い申し上げます。
稚拙な長文を最後までお読みくださり、誠にありがとうございます。

事業主と連絡をし、金曜日(7日)まで支払い延期をお願いし承諾いただきました(対抗手段の時間作成の為)
・違約金は13万2000円でした。
・請求書にははっきりと「違約金」「業務放棄の為」と記載があります。

労働基準法が適用されるのは雇用契約の場合であり、
「業務委託契約」の場合は原則として適用されません。

ただ、契約書の表題が「業務委託契約」であっても、実態は雇用契約の場合があり、
そういった事情があるかを検討する必要があります。
交渉事案ですが、ご自身が単に労働基準法の条文を挙げても相手方は全く取り合わないと考えられます。
あとで請求されるリスク(遅延損害金を加えた形)を覚悟で拒否するか、
個別にご相談なさって、契約解消の交渉依頼をするかどうかになるでしょう。