脅されて出してしまった声明文を撤回したい

個人間のトラブルが起きた際、向こう側の高圧的な態度に折れてしまいやっていない誹謗中傷に対して「やった」と認めてしまい、Twitterにて声明文(謝罪文)を投稿してしまいました。
後から有識者に相談をしたところ、「相手の物言いには正当性がなく、無視しても大丈夫である」と言われたので撤回をしたいのですが、その結果反撃をされるのが怖いです。
相手方が知名度のある方なので炎上騒ぎとなってしまい、個人宛に様々な人から誹謗中傷のメッセージが届いているため精神的にも限界です。
どうすればいいでしょうか。

実際にご自身が行なっていないのであれば、どうして認めてしまったのか、どうして撤回をしたのかを説明した上で自身がやっていないことを説明しても良いでしょう。

相手が絡んでくるのであればしっかりと対応していく必要があるため、個別の誹謗中傷を含め一度弁護士に相談されても良いかと思われます。

・「後から有識者に相談をしたところ、「相手の物言いには正当性がなく、無視しても大丈夫である」と言われた」

この部分と、撤回の関係性がよくわかりません。
『有識者』なる人の見解も理解できません。

・「その結果反撃をされるのが怖いです」

一度認めたという事実は残りますし、認めたことで相手方の調査を中止させたということであれば、その点については責められてしまうでしょう。

・「どうすればいいでしょうか。」

X(旧twitter)上で撤回をしたとしても、炎上は収まるわけではないですし、
むしろ余計悪化する可能性まであります。
対応としては、相手方から指摘された誹謗中傷を行っていないのであれば、
債務不存在確認訴訟などで対応されるべきでしょう。