同棲、関係解消後の金銭トラブル

以前に同棲してた彼女にお金の支払いを要求されています。

同棲してた際に浮気が発覚し、解消に至りました。浮気相手は妻子持ちだったため、穏便に済ませようと思いましたが、何も無いのはおかしいんじゃないかという気持ちを元彼女にしていました。
私が引っ越す際に、その浮気相手からという名目で元彼女から引越し代と生活費として20万が送られてきました。その際には、「貸す」といった話で受け取っておりません。
それが引越し終わり関係が解消されてから、実は元彼女が払ってたんだと話をされ、返して欲しいと言われております。難しいとお話しましたが、人間としてどうなんだと詰められております。

どう言った対応をすればよろしいでしょうか。そもそも受けとったことが間違いだったでしょうか?自分自身としては、払いたくないという気持ちでいっぱいです。
ご教授頂けると幸いです。よろしくお願いいたします。

引っ越し代として頂いた金銭は引越し時に使用しており、すぐすぐの返金は不可でした。
もし支払いが必ず必要となった際にも、その旨は相手方に伝えておりますので、分割でお願いしたいと考えております。

貸し借りの話をしていないのであれば贈与であると考えられるので、返還する必要はありません。
ですので、返還を求められても、借りたものではなくもらったものなので返還しない、と突っぱねていいかと思います。