愛人関係でお金を返せと言われましたが、返金する必要はありますか?

大学生の頃交際クラブで働いており、そこで出会った男性(既婚者)に、交際クラブで稼いでいるお金分を援助するから辞めて付き合って欲しいと言われ3年間お付き合いをしました。その後大学を卒業して、奨学金の返済が500万円あることを話し一括で返してもらうことになりました。
返済をしてから半年後、私に彼氏ができたため話そうと思っていたのですが相手がかなり私に依存していたためその話をしたらどうなってしまうのか怖くなりなかなか言えずにいました。ある日彼氏とデートしていたら、突然連絡が来て、探偵を雇っていたのか、車に盗聴器をつけられていたのかわかりませんが彼氏といることがバレてしまい逆上して奨学金分のお金を返せと言われてしました。
いつかは彼氏作る、結婚すると相手に伝えていて、それを納得している様子だったのでびっくりしました。
バレてしまった日から脅迫のようなLINEが何通も届き、会って話そうと伝えてもセックスできないなら時間の無駄と言われてしまうため話ができない状況です。
奨学金返済分のお金は既に一括返済してしまったため手元にないです。
私は返金をする必要はあるのでしょうか。
ちなみに奨学金のお金をいただいた際に、契約書などは書いていないですし何かあったら全額返金するなどとも一言も言ってないです。
ご回答のほど、よろしくお願いいたします。

私は返金をする必要はあるのでしょうか。
→ご相談内容を拝見する限り、奨学金についてのお金は贈与として返金義務はないように思われます。
LINEの連絡が悪質なようであれば、ストーカー規制法上のつきまといなどに当たる可能性もありますので、今後も脅迫のような連絡が来るようであれば、警察署の生活安全課でご相談することも検討しても良いかと思います。

迅速に回答いただきありがとうございます。
どうやって連絡を断つのが最適でしょうか。額が大きい事、家や職場を知られてしまっている事、相手がかなりお金を持っている方なので何かしてこないか心配なのですが、連絡を無視してしまって大丈夫なのでしょうか。

私は返金をする必要はあるのでしょうか。

借りたわけではないですよね。
もらったのであれば、返還義務はないと思います。

連絡を無視してしまって大丈夫なのでしょうか。

無視でよいのではないでしょうか。
仮に脅されたりするようであれば、警察への相談も考えられると思います。
弁護士に入ってもらって対応してもらうこともありうると思いますので、ご不安であれば、弁護士に相談に行ってみてもよいと思います。