上司からの圧力で残業させられることを断ることはできますか?

就業規則では「正当な理由がない限り残業を拒むことはできない」ですが、正当な理由とはどんな理由が認められますか?
体調が悪く次の日に響きそうだから帰りたい、家事をしたいから帰りたいというのは認められませんか?
上司に「なんで帰るの?」「残業してよ」と言われてしまいますが、残業を強いられ体調を崩した場合には、職場を訴えることができますか?

残業が合法なのは、36協定が締結されていること、上限は
月45時間ですね。
正当な理由とは、体調不良、育児、介護のような理由でしょう。
体調不良で残業を断っても、強いられて、さらに悪化した場合
は、安全配慮義務違反で慰謝料請求の対象になるでしょう。

まず36協定があるかということを確認すべきです。36協定がなければそもそも残業をさせることはできません。
家事は内容によると思いますが,体調不良は正当な理由に当たると思います。
そもそもそのような就業規則が有効かというところから争うことができる可能性はあります。しかし,そのような職場に長くいても良いことはないので転職活動をしたほうがいいかもしれませんね。