賃貸マンションの管理会社の不適切対応に対する大家の責任は?

賃貸マンションに住んでおります。
建物元からの造りなどによる騒音問題で揉めているのですが、以下のような状況です。

・大家は高齢で認知症。物件管理に関して管理会社とやり取りしているのは大家の息子(法的に何の権利もないことを確認済)。
・居住者とのやり取りは管理会社が担当(大家からの委任)。
・管理会社が脱法行為を複数回行ったり、1か月近くも対応をせずに放置するなどした。
・建物の修繕が未実施であること、管理会社(大家含む?)の対応のせいで精神面、健康面その他において損害を被ったことなどを理由に家賃の支払いを数か月保留(減額交渉の意思を何度も伝達→相手は全額要求)。
・当方は新居が決まり次第退去予定。

今後、未払い分の家賃の支払いに関しADRを利用して減額交渉するつもりです。おそらく相手は大家になるのだと思いますが、これまで対応窓口だったのは管理会社です。この場合、管理会社の対応が悪かったり(脱法行為あり)遅かったりしたせいでこちらが被った損害を大家に帰してもいいでしょうか。つまり、管理会社の行為を大家の行為として考えてもいいでしょうか。
ちなみに、内容証明郵便には対応窓口として管理会社の担当者名が書かれています(これまでの担当者と同一)。

管理会社は、大家の債務履行の補助者として行動しているので、管理会社の行為は
大家の行為と判断していいですよ。

早速ご回答いただきありがとうございます!
まず一つ前に進むことができました。
重ねて感謝申し上げます。