中古車の個人売買のキャンセルについて

はじめまして、さかいと申します。
ご相談をさせて下さい。
先日、中古車をインターネットの個人売買サイトにて購入しました。
合計額20万円の内の14万円を支払い残りは数日間待っていただくと言うことで車を引き取りました。
残金を支払うまでは車検証等の書類は売り主で預かるという形になりました。
その後、恥ずかしながらお金が用意できずに先方もこれ以上は待てないので車を返すように言われました。
お詫びし車を返しまして、その際に支払い済の14万円のうちからキャンセル料として3万円引いていただいて、11万円をご返金いただくと言うお話でご了承いただきました。
取引の窓口は奥様で全て奥様とお話をしていましたが、返却当日にお金の管理はご主人がされているとのことで翌日の午前中に振込でもいいかと言われ、こちらもご迷惑をおかけしてまっていますのでそれで了承し車を返却しました。
翌日の約束の期限になっても入金されていないので連絡をしましたところ、ご主人がそんな一方的なキャンセルは納得できないとお怒りになっていて入金してくれていなかったとの事でした。
こちらの都合の一方的なキャンセルなので、3万円キャンセル料を了承し口約束のみで車を返却しましたが、このまま1円も返金されない場合はこちらは諦めるしかないのでしょうか?
契約書等もなく、LINEのやりとりしか残っていません。
どうかご教授お願い致します。

車を返して欲しいと言われて返したのだから、
合意解約になってますね。
キャンセル料も合意されてますね。
あなたには返金請求権がありますね。