心身ともに限界で早く退職したい

11月から初めて軽貨物車両で配送の仕事に就きました。個人事業主として委託契約となっています

実際は時間拘束あり場所も決まっていて、ルートの指示などもあります。
元々、週4日での勤務で申し出てそれで構わないと言う事で
車も会社側からリースで始めました
それが、実際にシフトを見ると週5日で体力的な事もあるので
連休も入れて欲しいと言うと
「毎週じゃなくていいですか」と返答
それに対しては「体力的にキツイので、2日目の勤務後半は効率が著しく下ります」と
返答をしました。

1月のシフトも週5日になっていたため指摘すると
「考慮しますが週4はあくまで要望の聞き入れで契約ではそのような締結をしておりません」と返答
手元に契約書の控えはありません
あるのは車両使用誓約書と契約書補足のみ

稼働して1週間くらいで38℃を超える熱が出たため
運転に不安あるので休みを申し出ると
「配車は決まっているので出て下さい」と強制で出勤して車を擦ってしまいました
他にも時間に追われるため、焦ってミラーを壊してしまったのも不注意なので
自費で直して下さい。と言われました。
(確認した所、車両保険には入っていないとの事)

心身共に消耗してしまい辞める2ヶ月前に申し出というのも承知ですが
もう限界です
実際に過呼吸や恐怖で眠れないなどの不調が出ています

こちらにばかり負担になる事を言われるばかりで
先方の言われるままに勤務したら重大な事故を起こしそうで恐怖しか感じない状態と
勤務中に高層の団地の上層階へ配達に行った時には
よくない事を考えてしまう程にしましたでした。

社会人として円満退社をしたい気持ちはありますが
本当に追い詰められておりこちらへ相談した次第です

現在、体調を崩し欠勤しているのですが
(こちらも休みたい旨申し出た際には出勤するよう言われました)
その間に自社で人を確保出来なく他から補填する費用は
私が持たなければならないとも言われております
車両はリースなのでぶつけたり壊した部分の修理はしなければと考えています
ですが、会社の言うまま適正じゃない請求されるのは怖いです

会社側の言う事は尤もな事なのでしょうか

どうか、助言をお願いいたします。

会社とやり取りをすること自体、ストレスだと思いますので、弁護士に依頼することを検討して良いと思います。一度お近くの法律事務所にて相談されてみることをお勧め致します。