男性からもらったお金を返さないと警察に捕まる可能性はありますか?

デリヘルで知り合った男性に、お金をあげるからプライベートで会おうと言われてしばらくはお小遣いを貰いながら会っていました。
しかし、私が借金があると嘘をついて300万円ほどもらい、男性にはこれをあげたら付き合ってくれる?と言われたので、付き合うよといいお金をもらいました。
その後はお金をもらわずにご飯に行ったり、もちろん体の関係もありました。一応付き合ってる程はしてました。
その後に色々あり別れようとなったんですが、しばらくしてから男性側の身内から連絡がきてお金を100万だけでいいから返して欲しい。じゃないと警察と弁護士に行くと言われています。
この場合はお金を返さないと私は警察に捕まるのでしょうか?
お金をいただいた時に、借用書などは書いてません。

詐欺と取られる可能性があるので、警察が介入する前に、100万円を、返金して
示談をした方がいいでしょう。
返金額は、やや下げてもらう交渉をしてもいいでしょう。