名誉毀損についてアドバイスください

事実無根の犯罪行為をしたと、とある人物に言われ冤罪を恐れる余り精神がおかしくなりそうです。
タイトルには名誉毀損と書きましたが名誉毀損以外でも発言証拠は無い限り訴えるのは難しいですか?
慰謝料と言うよりは、この冤罪を心配する恐怖から抜け出したいです。

録音媒体といった類の証拠がない限り,結局言った言わないの話になってしまいます。冤罪を心配する恐怖と言われますが,気にしなければ済む話ではないでしょうか。カウンセリングを受けてみてもいいかもしれません。

濱門先生、丁寧に回答ありがとうございます。
仮に相手方の通報で警察が動いてからでは遅いと考えてしまいますが考えすぎでしょうか?

事実無根だから堂々としてれば良いのでしょうけど「そんな考え甘い」とも言われ気にしてしまっています。

気にしないでください。事実無根なのですから。

濱門先生、ありがとうございます。