業務委託契約している仕事を辞めたい

業務委託契約をしている仕事について
担当者の威圧的な口調などが原因で体調を崩し、
病院でうつ病と診断、2か月の療養が必要と言われました。

診断書とともに、療養後復帰しても、また同じ環境で仕事をすれば再発の可能性が高いので復帰できない、このまま契約解除を希望する旨を伝えたところ、
・診断書の期間の休業は認める
・その後は復帰してもらい、3か月の契約期間が終了後に契約解除を承諾する
と言われました。

確かに、契約書には「契約解除は3か月前に・・・」という記載がありました。

この場合、復帰して残りの契約期間は仕事をしなければならないのでしょうか?

もし復帰しなくても大丈夫なら、どう相手に伝えればいいのでしょうか?

よろしくお願いします。

パワハラが原因でうつ病を発症したこと、同じ職場環境では
再発の可能性があることを記載して、解除通知を出せばいい
でしょう。
やむを得ざる解除は、期間の定めがあっても可能なので。
弁護士に相談することを勧めます。