慰謝料の肩代わりした分を返してもらいたい

1年前に不貞をし元妻に私と不貞相手は慰謝料を請求されました。
その時に不貞相手への慰謝料150万は私が肩代わりしました。
(妻には不貞相手の名前で入金)

私の慰謝料は現在支払い中です。

不貞相手とその後揉めて別れました。
当時肩代わりした150万を返して貰いたいのですが可能ですか?

相手が任意に返してくれるのなら別ですが、
拒まれた場合に取り戻すのは難しいと思います。

具体的事情にもよりますが、もらったものなので返す必要はない、との反論が予想されます。