この場合、私は詐欺になりますか?

お互い好きとゆう感情があり
私が風俗で働いてたこともあり、それを1ヶ月休んでほしいから、お金を渡すと言われました。

その後、私のほうでいろんな事情があり、それが落ち着いたら連絡すると伝えました(連絡を一切返さないなどとゆうことはありません)が、1週間ほど経つとこれは詐欺だと言い出しました。警察に行くと。お金を返せと。風俗で働いてることも親にバレるぞと。
こう言った場合、返さないといけないのでしょうか?

本件の場合、一旦お金をお返して、改めて契約をするかもう一度話し合うのがよいと考えます。

よろしくお願いいたします。

回答ありがとうございます。
質問ですが、なぜ一旦返さないといけないんでしょうか?
私が欲しいと言った訳でもなく、相手の感情で風俗の仕事を休んでほしいから渡すと言ったお金を…
そして、契約とは、なんの契約でしょうか?