返さなくていいと言われた後から返してと言われた場合、支払いはしなきゃいけないのでしょうか?

先日、友人からお金を返してほしいとの連絡が来ました。
私が返すよと言っても返さなくていいと言われたので、返さなかったのですが
連絡が来た時友人からは受け取ったから借りているものでしょと言われました。
この場合、私は返さなくてはいけないのでしょうか?

「返さなくていい」といったことから返金義務があったとしても免除されたものと解釈できる余地がありますので、返金する義務はないかと思われます。

この場合、私は返さなくてはいけないのでしょうか?

贈与を受けたとか、借りたのだけれど後に免除を受けたのであれば、法的には支払う必要はありません。
ただ、贈与や免除はなかったと争われる可能性はあろうかと思います。