債権回収は可能か?法的な見解を教えて頂けたらと思います

W不倫にて数年の交際中の諸費用50万以上全額負担しました。交際時モラハラと思える言動や人間性についていけず別れました。別離後返金請求し、相手方から返金意思は確認できてました。金額提示後、返す義務が無い、法的に返す必要が無いと言われました。相手方の発言には、責任転嫁、脅迫と一貫性の欠如が目立ちます。返金総額の交渉、一部返金、返すと言った言動は証拠有ります。贈与ではなく貸付、立替で法的措置を検討中ですが 法的な見解を知りたいです。又威圧的な発言や論点のすり替えから精神的苦痛としての慰謝料請求も検討中です。

・「贈与ではなく貸付、立替で法的措置を検討中」

行為時に合意がない以上難しいでしょう。

・「返金総額の交渉、一部返金、返すと言った言動」
があるとのことですが、今回のケースの場合、
そもそもの性質上、返還約束の推認をすることが困難です。