頂いたお金を一部返金しましたが、全額返さなくてはならないのでしょうか。

好意を寄せられている男性から40万円をいただきました。
(交際を求められましたが何度も断っています)
頼んでいないのに一方的に渡されました。
受け取ってくれと言われ、それに甘えて受け取ってしまいました。
その後ふとしたきっかけで揉め、お金を返すように言われ、
最初はお金を返すと言いました。
見返りなしでお金をいただいたことの罪悪感からお金を返すと言いましたが、
一度あげたものを返せという心理には納得がいかず、30万円だけ返しました。
約束と違うと言われ、一度もらったものなので返したくないと伝えると、
一度返すと言った以上返さなくてはいけない、残りを返さないと少額訴訟すると言われました。
口頭でのやりとりではなく、LINE上に残っています。
まだ訴状は来ていないのですが、訴状が来る前に残りを返すべきでしょうか。

もともとは、返済する法的義務はなかったのですが、あなたが
事情により返還すると判断し、相手に告げたことから、返還義務が
生じていますね。
訴訟をして来るかどうかについては、わかりませんが、返還して
早く終わらせたほうが、精神的にはいいでしょう。(私見))

お忙しいところご回答ありがとうございます。
住所がわからなくても調べられる、最後通告だ、今日準備する、などと連日連絡が来て精神的に追い詰められているところでした。
返すと言ったことを撤回することはできないということでしょうか。

脅迫にあたれば、取り消しができますが。

返却致しました。お忙しいところご相談に乗っていただきありがとうございました。