あんたに上げる理由なんてない、あんたは支払う義務があんだよと言いたい

このQ&Aでも多い相談ですが、交際相手から高額なお金をもらったものだから返さないと主張する相手。
そのもらったという相手は1銭も自腹を切っていない。
言わば、棚から牡丹餅的な金銭のやりとり。
交際相手としては、上げる理由なんてない。
このようなケースで、「お金をもらったものだから返さない」と主張する相手の権利はどういう形で立証されるのですか。
「LINEの履歴が残ってんだから、もらったもの、返す必要もない」と勝手な言い分を押し付けてきます。
「あんたに上げる理由なんてない、あんたは支払う義務があんだよ」と言ってやりたいのですが、これは法的に間違ったものではないでしょうか。

「あんたに上げる理由なんてない、あんたは支払う義務があんだよ」と言ってやりたいのですが、これは法的に間違ったものではないでしょうか。

どのような経緯でお金を渡したケースを想定しているのでしょうか?

「親が借金で困っている、姉がいるが頼れない、借用書に自分の名前が書かれている、金出してくれないか」と本当に困った素振りして、会う度に懇請してきました。
かわいそうと思い高額なお金を現金で手渡しました。
その後、「返してよ、返してよ」と何度も口頭で返済を迫りましたが一向に何の連絡もなく完全スルーしてきました。
こんな男といつまでも付き合っていたらたまったもんじゃないと、こちらから縁を切るために、「返さなくていいから」と伝えました。
ただ、後になって、こんなだらしない男に高額なお金を渡す義務がどこにあるのかと思い返し、これから「あんたに上げる理由なんてない、あんたは支払う義務があんだよ」と返済を迫ろうと思っていますが。
全額返済が無理としても、手渡したお金の半額でもいいので、解決金、もしくは示談金として支払ってもらいたいと思っています。
事情があって、裁判までは起こしたくありません。
個人間で交渉していければと考えています。
ただ、法的知識がないので、スポット的に弁護士の方に相談しながら交渉していきたいと思っています。
弁護士の知り合いはいませんので、仕事先の経営者等に弁護士を紹介して頂くことを考えています。