地下アイドル事務所の不当な契約条件、違約金支払い義務は?

地下アイドル事務所と契約しました。
ですが契約したのにも関わらず、まずは事務所所属者だと明かさず配信をしてもらいますと言われて、公表せず配信活動をはじめました。
グループ候補生になることが決まり、メンバーとも顔合わせを済ませたのにメンバーとの連絡先、SNSの交換は禁止、レッスンの際には事務所のオートキーを教えて貰えずレッスン開始時間になっても事務所の中に入れず、唯一連絡できる社長に連絡しても応答なし、先生と共に入るなどを数回しました。
そのような扱いの中、事務所のグループ定期ライブにてファンの方にお披露目をすると言われたのですが、名前も明かさずただ候補生と明かすだけだと言われ不信感が募りました。
体調が悪くなりその後事務所にすら伺うことが困難になったため、退所を申し出たのですが、10日間ほど既読無視。 その後連絡が来て、体調が回復して復帰するか、違約金を払い辞めるかと言われました。
違約金は50万円で契約書にも記載されておりました。ですが、その事務所に所属していることを明かすことを禁じられ、メンバーとの連絡先等の交換も禁止され、必要な情報を与えられることが欠けていた中、違約金を払わないといけないのでしょうか?

契約書を見ないことにはわからないとこほもありますが、ご指摘の就労環境で違約金の支払わせよというのは明らかに不当といえます。契約が労働契約であると解釈可能であれば、損害賠償の予定は原則無効で支払う必要はありません。