怖くて同意した超高額な損害賠償だと感じる書類は無効になったりしますか?

知り合いの会社を手伝っていて、もう生理的にも無理で手伝えないと飛び出すように辞めたのですが、その時までの寝ないでの仕事は一通り終わらせて飛びました。
その寝不足ながら仕事に不備があり、大変な損害を被るところだった!
という部分で損害賠償の示談請求を飛び出してから見つかり、現在の事務所の建物のセキュリティを「郵便です」と言って入ってこの人何するかわからない、拉致とか、お前が女だったら風俗とか、マグロ漁船だとか、家とか土地とかないの?と、相手は話術も巧みで、怖くなったので書かされたのですが2年で実質3500万円出せとあまりにも高額だと感じています。
正直その会社自体は私が持たせていると言っていい状態で、給料はなく、3年手伝って5万円程度の実入り、1日14時間以上費やしてきました。信じて自分は生活のために150万くらいの借金も背負ってからのこの状況です。
お前がちゃんとやれば利益出ているんだよとか言われた事とか、精神的苦痛も遊び半分で受けたこともあります。
この金額は「異常に高額な違約金による暴利行為」に当たりますでしょうか?こういう事をしたらこういう利益になるという事業計画を書かされたのですが、そんなにうまくいくわけはなく、2年たったらその場で払え!と。全然払える気がしないのですが、今の会社事務所に乗り込んできたりと、迷惑をかけたくないという気持ちから損害倍書の示談書にサインしてしまいました。
ちなみに今現在収入は月に本業以外にも合わせて25万円~30万円前後になります。
弁護士に相談していいものなのかもわからない状態で、とにかく相手が怖く、書くのも怖かったのですが、どうしていいのかわからず勇気を振り絞ってここに書かせて頂きました。

相談内容がわかりづらいので、直接、弁護士に相談した方が
、要領を得られて、方針を出すのが早いでしょうね。