誹謗中傷で訴えると言われています。

本日Twitterにて、既婚で子供がいる匿名アカウントの男性が不倫を匂わせる発言をし、私が引用リツイートにて「こういう発言をミュートに出来る機能があれば良い」と発言しました。
そこに私と該当男性以外の別アカウントより、その引用リツイートへのリプライがあり、私はそのリプライに対し以下のように返しました。
「本人の人生だから自由にすれば良いし、奥さんも自身で選んだ結果だけど、子供が可哀想。
生まれてから側にいた父親に裏から続けられていたなんて知ったらショック」

その発言の「裏切り」を切り抜き、該当男性より「誹謗中傷で訴える」との連絡がありました。
男性も私も本名でTwitterはやっていなく、男性自身、現実の自分に繋がる情報は書いていないと言っています。
また、「裏切り」の文言についても特に具体性は無く、相手の社会的地位を貶める内容でもありませんし、誹謗中傷というよりは批判の意味合いの方が近いのではと思っています。

この状況で、誹謗中傷で相手を訴える事は出来ますか?
また、結果的に私はツイートを削除し、該当男性をブロックしたところ、該当男性がツイートにて以下のように発言しています。
「ツイートを消すなら絡んでこなければ良いのに。たぶん人の粗探しをしたいのだろう」

私の発言を誹謗中傷として訴える事が出来るのであれば、この発言も訴える事は出来ますか?
各リプライのスクリーンショットは撮っており、ツイートを削除しているのは私だけのため、この該当アカウントの発言先が私があるという証明は出来るかと思われます。

以上、皆様のお知恵をお貸しいただけますと幸いです。
どうぞよろしくお願いいたします。

お互いに匿名の一般人アカウントであり、ツイートを閲覧した一般人が実在する誰かを対象者として認識することができないものであれば、名誉毀損やが成立すると考えるのは困難であり、名誉権侵害で開示や削除が認められる可能性も低いように思います。また、ご記載にあるツイートはいずれも表現が抽象的かつ穏当なものにとどまっていると言わざるを得ず、名誉感情侵害を理由とすることも難しいように思います。