ママ活でもらっていたお金を返せと言われたのですが。

約1年強ママ活をしていました。
生活費が実際に困ってはいた為、毎月決まった額を相手の女性からお小遣いとしてもらっていました。

恋愛対象としてその人のことを向き合い、同棲や結婚も考えましたが、やはり気持ちが前に向かず、同棲の話を向こうから持ちかけられた時に(条件として、以降お小遣いは頂かない条件)、自分の中で、不安に思う部分が多くなり、やがてそれを察された相手から、同棲に乗り気がない旨を質問された為、不安が多く、前に進むことができない旨をお伝えしました。

するとそこで態度が豹変し、今まで毎月貰っていたお金を返せと言い出してきました。

また、こちらは騙すつもりも全く無かったのに
、同棲の話を持ちかけられてたから、こちらが気持ちに向き合い、結論を出すまでの期間が、相手にとっては遅すぎたからなのか、結婚詐欺や恋愛詐欺だと、言われもない事を言われてしまいかなり辛いです。

もちろん借用書を交わしているわけでもなければ、貰ったお金を返すとは一言も言っていないので、返せと言われても、どうもできません。
この判断は間違っておりませんよね?

また、結婚詐欺、恋愛詐欺にも全く当たらないと思うのですが、この点についても考え方は間違っていないですよね?

ご回答のほど宜しくお願い致します。

同棲や結婚の話が本格化しだしてから、(相手からの切り出しで、私も、その人と向き合ってみても良いかなとは確かに感じましたが。)私が難しいと思い、同棲が難しいなと思い、伝えるまでの期間が、約2ヶ月ほどです。
その間、騙そうと思ったつもりもなければ、寧ろ真剣に向き合おうと思ったものの、価値観が合わないと思ってしまった状態です。

お小遣いというのが贈与の趣旨であれば、返還の必要はないと考えられます。(仮に貸付と評価できる場合、貸付の経緯や主な目的等の事情次第では、不法原因給付に該当し、貸主の返還請求権は否定されます。)
詳細な事情が不明なので確答はできませんが、結婚詐欺等には該当しないように思われます。

具体的事情を説明しながら最寄りの弁護士に個別に相談することをお勧めいたします。