慰謝料請求をしたいけども、証拠が弱い

半年前に離婚した妻が、離婚してすぐに新しく出来た彼氏と3歳の息子と三人で暮らしていたそうなのですが最近になって彼氏が息子に対して毎日怒鳴ったり、暴力をふるうから別れたという連絡を一ヶ月前位にしてきてその後にやはりおかしいと思い問いただしてみると僕と結婚していた頃から不貞行為をその彼氏と行っていたとの事を妻から直接言われました。
相手の男に慰謝料請求をしたいのですが、証拠が妻の念書くらいしかない場合。慰謝料を請求するのは厳しいでしょうか。

相手方の反論次第では、元配偶者の念書だけでは難しいと思われます。
その他の証拠(元配偶者とのメールのやり取りや写真等)を元配偶者から提供を受けるよう試みてはいかがでしょうか。

立証責任がご自身側にあること、
元妻の念書は、相手と別れた後に作成されたものであって相手を陥れるためのものだという反論をされてしまうことからすると、客観証拠を揃えないことにはという印象を受けます。