不動産会社に脅されて50万円渡してしまった。解決策はありますか?

今年(2022年)の2月先週の土曜日に一度訪ねて来て、今回で詳しく話をする予定になっていた不動産会社の専務を名乗る男性が訪ねてきました。(名刺あり、名前、住所、電話番号が記載。本人かはわからない(偽造かも)。)
そこで、以下のような流れとなりました。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
男性「賃貸ではなく持ち家の方が良い」⇒自分「断る」⇒男性「来た意味がなくなるから、審査するか、時間を無駄にした損害賠償支払うかの2択」⇒自分「困る、そもそも買うだけの金がない」⇒男性「せめて、ローンを組めるか調べたい。しかし、審査にして連絡を絶たれると困るから50万を預からせてくれ」

半ば脅迫気味に迫ってきたため、怖くなり「預かるだけなら」と現金で50万円を渡してしまいました…。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
ここで質問なのですが。
・家を買わず、なおかつ預かると言っていた50万円が戻ってこなかった場合、どうにかなりますか?
・その後、勝手に物件を買う流れにされていた場合、中断・解消などできますでしょうか?

今すぐ返還を求めるべきです。詐欺の疑いもあるので、返還しない場合、警察に相談した方がいいでしょう。民事上も返還請求できますから、弁護士に相談してください。勝手に買う手続をされた場合、もちろん中断させることはできます。

ご回答ありがとうございます。 
消費者センターにも相談し、ハガキで解約と返金の請求をするつもりです。
また、明日直接話し合いの場を提案してきましたので、録音しつつ繰り返し解約と返金を求めます。

警察には相談しましたが、土日でやってない、不介入などと対応してくれませんでした…