特定の属性に属する人に対しての名誉棄損は成立しないのでしょうか?

ツイッターで私が呟いたことに対して
障害者への差別に感じるコメントを返信してきた人がいました。
その人に指摘したら、
以前隣に障害者が住んでいたがこんな迷惑行為を受けた、障害者に危害を加えられている、などのような返信がきました。その人が受けたと主張する迷惑行為は具体的にいくつかありましたが、内容の事実に関する証拠は全く示されていません。
そこで以下の点についてお聞きしたいです。

その人が主張する迷惑行為の内容が事実でなかった場合、
書かれた対象が特定の個人だったら名誉棄損になる可能性があると思うのですが、
書かれた対象が特定の属性に属する人だった場合(この場合は「障害者」に対して)、名誉棄損など何らかの違法行為になる可能性はないのでしょうか?

書き込みをしている人はフォロワー数が100人くらいなので世の中への影響力は少ないと思いますが。
私は障害者です。こういった書き込みを読んだ人が事実かどうかもわからない内容を鵜呑みにして「障害者」という属性への差別が生まれないか心配です。

残念ですが法律上、名誉毀損の対象は人に限られ、集団に対する名誉毀損は成立しないと解されています。したがって、「障害者は××だ」などの書き込みだけでは、道徳的に非難の対象とはなるでしょうが、違法にはなりません。

言論には言論で対抗するのが民主主義社会です。誤った言説には、丁寧に指摘していくしかありません。

迅速なご回答ありがとうございます。
指摘していくしかないのですね。
勉強になりました。