返済義務はあるのでしょうか。放置することで不利になることはありますか?

金銭トラブルについてのご相談です 別れていた彼から復縁を迫られ、その際にお金を受け取りました。以前にもこのようなことがあり、その時はお別れを告げた際に返金を求められ返金致しました。(返金理由は私が彼と約束事をして、守ってくれるなら渡すと言われていたお金で私が約束を破ってしまったからです)
今回同条件で復縁を求められた際に、前回のように頂いたと思っていたお金が急になくなるのは困るので、私が約束を破ってしまった場合やどのような状態でも例外なく返金は求めないでほしいと伝えました。
彼からの回答は返金は求めないかわりに君も約束を破らないでほしいとのことで、了承し復縁致しました。(私が約束を破った場合はどうするかは決めておりません)
※約束を破ってもという部分と返金を求めないかわりに約束を破るなという部分:矛盾していることはわかるのですが、この時そこまで頭が回りませんでした…

先日、私が約束を破ってしまったことが原因で喧嘩をし、お別れを告げました。
その際に返金を迫られ、私は約束を破っても例外なく返金の要求はしないと約束したと伝えましたが、彼の主張としては返金を求めないかわりとして約束を破らないことを条件とした、条件が満たされていないのだから例外ではない、加えて約束を守らないと復縁のタイミングで伝えられていたらそもそも復縁もしていないしお金も渡していないとのことです。
法律も自分なりに調べ、今回のお金は贈与にあたると思うので、贈与されたお金に返金義務はないと伝えたのですが、彼の言い分としては、返金を求めないかわりとして君は約束を守ると言った、約束を守ることが条件なのだから条件付でお金を渡して条件が守られなかったから返金してと言ったまでというものです。
お互いが同じ主張を繰り返すばかりで話しの進展がみえず、体力的にも精神的にも正直しんどいです。
また、これでは前回していた約束と変わらない、それが嫌だから事前に返金をしない旨伝えたと言っても、その内容を伝えられた返答として、返金の話しを出さないから君も約束を守るようにと伝えて君はそれを了承した、なので例外にはならない。
認識の相違があったとしても、認識の相違でお金が君のものになるのはおかしいと言われています。
こちらは法的観点からみて、私に返済義務はあるのでしょうか。
彼の知り合いに弁護士の方もおり、そちらに相談されたらどうなるのかと心配です。
ご教示お願い致します。

原因やどのようなお金の返金義務が主張されているかについて詳細が分からないため、具体的なアドバイスは難しいですが、相談者がそのお金を贈与と考えているのであれば、贈与として返金を拒否することが適切でしょう。

ご回答ありがとうございます
こちらは、彼の主張通り仮に条件付で渡したお金であった場合でも贈与にかわりないのだから返金はしないと伝えても大丈夫でしょうか?
条件付きの場合は贈与にはならないのでしょうか?