元彼といった旅行後のトラブル

6年前に付き合っていた5歳年上の元彼(Nとします)と再度お付き合い前提での旅行に行き、旅行先で付き合って欲しいと言われ、いざ夜一緒に過ごすとなるとなぜか昨年付き合っていた元彼(Sとします)の事を鮮明に思い出してしまい、泣いてしまいました。
ごめんね、こういうことはもう少し待ってくれる?と伝えると、Nは腹を立てて拗ねてイライラしている様子で、そのまま事を運ぼうとしたので、もう少し待って欲しい!と再度強く伝えました。ただ、その後仕方なく身体の関係をその日持ちました。
私のお祝い兼ねており、旅行代はNが支払ってくれました。

その後、旅行から帰ってきて付き合う事になって連絡を取り合っていたのですが、仕事が忙しかったこともあり、会う日程を決める返信がたまたまできておらず、
向こうから無料で旅行行くために俺を利用したの?という連絡がきたため、

忙しかったのもあって、、ごめんなさい。
ただ、少し待って欲しいと伝えた時に、拗ねて怒ったり私の気持ちを尊重してくれなかったのが気になったので、やはりお付き合いする事自体を少し待って欲しい、と。元彼Sへの気持ちもまだ残っているのもあります、と。

そう返信すると、旅行代返して別れてくれ、と返ってきました。付き合ってる彼女にしかお金は支払わないと決めているんだ、と。

待って欲しいと私は伝えたのに対して、早々と別れを告げられ、旅行代を請求された事に腑に落ちません。
これは、返金する必要があるのでしょうか?

向こうが躍起になりそうな雰囲気があって無理矢理返金対応とらせるために何かしら行動起こしてきそうで少し怖いです…性格上わりとキレやすいタイプの方で。

ただ、どう考えても腑に落ちなくてこちらで相談させていただきました。

お伺いしている事情からする限り、N氏が貴方の旅行代を立て替えるという約束にはなっていなかったようですし、返金する必要はないと考えられます。

高橋俊太弁護士 様

ご回答ありがとうございます。
向こうが躍起になりそうな雰囲気があって無理矢理返金対応とらせるために何かしら行動起こしてきそうで少し怖いです…性格上わりとキレやすいタイプの方で。

全く腑に落ちないので私が返金に応じないと、騙してるよね?など恋愛詐欺のような言い方をされています。全くそんなつもりなかったので、本当に驚いています…どのように対応すれば良いかどなたか教えていただけると幸いです。