借りてないお金の返済

貸した金返せと言われました。

以前、お金貸してとも言ってないのに、相手方から生活がキツイだろうからって、お金を1、2万を渡してきたので受け取りました。
口頭や文章でも貸し借りの約束はありません。
でも貰うだけは悪いな…と思い、返すね!といいました。
貸し借りの約束はないが、気持ち的に悪いと思ったので返すと言ってしまったら、返さないといけないのですか?

あなたは、返すね、と言ったので、返済義務が生じました。
脅迫など取り消す理由もないので、返したほうがいいでしょう。

補足ですが
相手は私が言ったという記憶だけで、
いつ、いくら渡したか覚えてない、
文章でも金額のやり取りも無い。
私もいつ、いくら受け取ったか覚えていない場合はどうしたらいいでしょうか?

裁判でもしてもらうといいでしょう。

貸し借りの約束はないが、気持ち的に悪いと思ったので返すと言ってしまったら、返さないといけないのですか?

返すと言ったのであれば、返したほうがよいと思います。
いくら受け取ったか分からないのであれば、少なくともこのくらいという金額があるなら、それを返すのも一つかと思います。