体目的での金銭の授受について

今から3年前、大学四年生で国試前バーで働いていた頃のお客様とのトラブルです。
大きな会社の社長さんであり、ご老人で品のあった方であった為、信頼をしており、何度か晩御飯を共にしていました。
そのある晩、バイトと国試と大変だろうからお金をあげるからバイトを減らしなさい。と8万円を渡され、私は何度も断りましたが、受け取ってはくれず、私も受けとってしまいました。
その後すぐホテルへ行こう!ホテルに行かないなら8万円返してもらうぞ!と言われたのでお断りして、そう言うことならもちろん返します!!!と返すと、大人になって働いた金で返せとまたしても受け取ってもらえませんでした。そして3年経った今になって、毎月あの時の金を返しなさい泥棒!とショートメールが入ります。その際私は元々自分のお金ではないので、返そうと思っていましたが、周りにはそれを返すのはおかしいと言われます。もちろん私も向こうの思う壺の様で返すのは納得いきません。しかし、大学生でその場から逃げたかったが故に返しますと言って持って帰ってしまったのも事実です。
実際のところ、これはお金を振り込むべきなのでしょうか?!
お忙しい中申し訳ございませんが、ご返答頂けると幸いです。よろしくお願い致します。

受け取った際の状況によっては不法原因給付として8万円を返す必要はないという考え方も成り立ちえますが、トラブルの解決としては8万円を先方の口座に振り込んで返してしまった方が良いように思われます。