貸したお金と嘘について

以前交際していた相手とのお金のやり取りについてです。
事業が波に乗っているから拡大のために金を貸してほしいと言われ、300万ほど貸しました。
その後、苦戦しているがここを乗り切れば大丈夫だから信じてくれと言われさらに100万貸しました。

それから数ヶ月が経ちましたが一向に返してくれないので問い詰めて調べてみると、最初から嘘を突き続けていて、複数の交際相手から同様の手段で金を貰っていたことがわかりました。

それを知りすぐに別れて返金の要求をしましたが、前者の300万は知らないと言われました(口頭で直接渡したため証拠などはありません)。
後者はメールで返すとの証言を得たため少しずつですが返してもらっています。

他人の資金で生活をしているため資産がないので取り立てが難しいのではと言われましたが、前者を取り返すのはやはり難しいでしょうか?

また、後者の返金についてですが、
過去に周囲の人たちに私のことを嘘つきで騙されたと言いふらしていたことがあったのですが、今回の返金も私に騙し取られたと言いふらさないか心配です。
逆に訴えられたりする可能性もあるでしょうか?

共通の知人もいますが、私以外はほとんど彼の嘘を知りません。
それは、口頭でですが彼が嘘をついていたことを誰かに言ったら私の個人情報を晒すと脅されたこともあるためです。

訴えられる事はないですね。
返金については、弁護士に相談して方策を考えて
もらうといいでしょう。