暴力団事務所の近くのマンションを契約してしまいました。解除できますか?

先日、新築分譲マンションの重要事項説明を聞き、契約書にサインをして、手付金はまだ支払っていません。
重説の一週間ほど前にそのマンションの近くに暴力団事務所があることがわかり、不動産会社に確認したところ、それらしき所があるのは把握しているが確実ではないと説明されました。
重説には近隣に反社会的勢力の事務所があると記載を追加したと言われました。
この状態で解約した場合、お金はかかるのでしょうか?

重説の読みあわせの時に事務所の件の追加の説明をうけ、そのあとにサインしています。

クーリングオフが使えるかどうか、確認してください。
使えなくても説明義務違反で解約できますね。
お金不要ですね。

クーリングオフは使えないと説明されています。
重説の読みあわせの時に事務所の件の追加の説明をうけ、そのあとにサインしています。
説明義務違反には当たらないかもしれません。
書き方が悪く、すみません。

再度検討した結果、事務所の件を理由に解約を申し入れるといいでしょう。
そのまえに、至急弁護士に契約書を見てもらってください。