養成所を辞めたいが違約金が払えないことについて

現在声優事務所から派遣される会社に入社しています。声優事務所としてはレッスンがあり、働いてから夜に声優のレッスンに行っている形です。
私は頭の障害持っており、事務所入所の際もその話をして会社に伝えて貰えるようにお願いしましたが、会社には伝わっていませんでした。そこの考慮も最初はお願いしていましたが全く考慮して頂けず、パニックで発作が出た際も体調管理不足と怒られます。(私のせいで仕事やレッスンに行けないのも、甘えなのも分かっています。ですが頭が着いていかず、なかなか出社できません。)

レッスンも21時前後で終わると聞かされていたのに、22時を過ぎることがあります。先輩の話では23時を過ぎることもあるそうで、まだ1ヶ月ですが体力の限界を感じています。
それがかなり辛く辞めたいのですが、契約書に辞める際は違約金100万という記載がチラつき辞められません。

会社に関して、体力の限界と不眠のせいか最近発作と手の震えが止まらなくなり、2月のうちに4日休んでいます。3日目の時点で「このままだと養成所も会社もクビになるから体調管理を怠らず」と釘を刺されたばかりの中で休んでしまいました。
うつを発症してしまい、どうしても休んでしまった日はほぼ寝たきりの状態です。
会社は好きで働きたいとは思いますが、身体が言うことを聞きません。養成所があまり好きではありません。

現在元旦那の作った借金の支払いだけで手一杯で、100万なんて大金はありません。
このままクビにされて大人しく100万払うしかないのでしょうか。それとも死んでも働くしかないのでしょうか。
纏まってない文章で申し訳ありません。

違約金100万円の他にも借金があるのでしたら、債務整理をするのはいかがでしょうか?
自己破産すれば違約金や借金を支払う必要がなくなります。
自己破産以外にも、任意整理や個人再生という方法があります。
弁護士費用は分割での支払が可能です。
債務整理をすれば、今よりも生活が楽になる可能性があります。