まだ働いてないのに違約金の請求には納得いきません。どうしたらいいですか?

労働問題の相談です。
業務委託(個人事業主)で軽バンドライバーを始めようと思い、ある会社に面接に行きました。おそらく大手運送会社と業務提携を結んでいて紹介をするという形だと思います。その時によく読まずに自動車賃貸契約書にサインしてしまいました。契約書の17条に「本契約締結から3ヶ月以内に本契約が終了した場合、違約金300000円を支払わなければならない」とあります。別の会社で正社員と採用してもらったのでそちらに行こうと思い、辞退の連絡をしたところ違約金として300000円請求すると連絡が来ました。自分は業務が始まってからだと思っていたので困っています。違約金の請求に応じない方法はありますか?

悩ましいところですが、あくまで個人事業主(≠労働者)として契約を締結したのだとしますと、30万円程度の違約金であれば甘受せざるを得ない範疇のように思います。