認知だから仕方ないのか

介護職で働いています。

約4年前に虐待を疑われ、働きにくくなり辞めようとしましたが部署移動をし、新規一変頑張っていましたが先月また虐待を疑われています。どちらも認知のある方が言われ他の人にも叩かれた等虚言発言もあり言われますが介護職員内では認知のこともありわかっていましたが、四年前は介護と関わりのない人が告発し、先月は介護職の方から言われました。普段から叩いた、叩いて、叩かんとってな等言われてそれがいつも通りですが告発した職員はなぜか今大きく捉えました。
私自身虐待もしておらず、他の職員もいつも叩かれた言われると話あるのに何故か私だけ言われてまた働きにくい、働くのが億劫になっています。これは名誉毀損になるんでしょうか、もうこんな職場はかえますが。上司も話を聞いて特になにもしないので腹が立ちます

告発した介護職として対応がおかしいと思いまして

お困りの状況、拝見いたしました。
確証がない中で、ご相談者様の社会的評価を低下させるような発言を相手方がし、結果としてその内容が職場に広まってしまったのであれば、名誉棄損に当たる可能性は考えられます。
また、使用者としては、労働者の職場環境に配慮すべき義務がありますので、こうした非難やいじめと思しきうわさが広まっている状況下において、事実確認をしたり、または、不用意なうわさなどが広まらないようにするなどの対処をしなかったのであれば、使用者側の対応にも問題があったかと伺われます。