弟による名誉毀損の可能性について

弟から兄へ、おまえは無能だから、人権なんて無いよ✨ということを会うたびに公然と言って来ます。このような場合は、名誉毀損に当たりますか?

弟から兄へとのことなので、不特定又は多数人に向けたものではないので、「公然」性がありません。そもそも当該人物の社会的評価を低減させる事実の摘示がありませんので、その点でも名誉毀損に該当しません。

実は、現在働いている会社を退社することや
社会生活から退場するように恫喝を受けています。この場合はどのように対処したら良いでしょうか?