中古物件契約前日でのキャンセル。手付金を払ってもいいと言ってしまいましたが、後悔しています。

中古物件を申し込み後、親族間のトラブルが夫婦の離婚問題にまで発展。
悩んだ末に契約前日にキャンセルの申し入れをしましたところ、売主さん側から「納得のいく説明がほしい」と求められ、近々不動産会社で説明に行く予定です。
不動産会社の説明だと、契約前なので手付金は支払わなくてもよいとのことだったのですが、夫が不動産会社に「こちらが全面的に悪いので、迷惑料として手付金を払ってもいい」と言ったそうです。しかし、私達にとって大きなお金であり、夫は罪悪感から申し出てしまいましたが、本当は払いたくないそうです。

それでもこちらから支払うと言ってしまった手前、要求されたら迷惑料として支払うしかないのでしょうか?

契約をしていないのであれば支払いをする必要はないでしょう。また,不動産会社についても請求してくることは多くないかと思われます。もし不動産会社が支払いを強く求め,当事者同士での話し合いでの解決が難しければ,弁護士を立てることを検討されても良いでしょう。

ご回答ありがとうございました。
不動産会社に問い合せたところ、やはり手付金は必要ないとの事でした。夫が迷惑料として売主の方に支払う…と言ったことについても、売主の方には話しが通っておらず、問題なくキャンセルすることができました。