予約したお店の名前と実際の看板が異なり、キャンセル料の減免・支払い免除を交渉したい

昨日、某サイトにて予約していたお店の前まで時間通り伺いました。すると、予約時にサイトで表示された店の名前は現地には無く、別の名前の看板がありました。
不信に思い迷っていると店から電話があったため、その際に店の看板の名前が違うことを理由に予約をキャンセルしたいと伝えました。
すると返事はキャンセル料100パーセント頂戴するの一点張りでした。
元々サイトにはキャンセル料の記載があったことは承知でした。しかし、このような場合でも払う義務はあるのでしょうか。
こちらにもほぼ無断キャンセルのような流れになり落ち度があるのは理解出来ますが、店名が違うという点で店側にも落ち度があるのではないかと感じています。払いたくないという気持ちが1番ですが、私も反省している部分もありキャンセル料の減免を交渉したいのですが可能だと思いますか?
その後、ショートメールにて振込口座の詳細が送られてきた際、文末に振り込まなければ法的措置を取るという内容の記載がありました。

正直無視して済むのであれば着拒して終わらせたいです。ただ、ごたつきたくないので支払って終わりにできるのであれば振り込むつもりでいます。100パーセントのキャンセル料というところにどうしても納得が行きません。ご意見お聞かせください。

店の名前が違っていたので不審に感じ、キャンセルを申し出ることは、
一般的に正常な行動だと思います。
したがって、キャンセル料の支払い義務はないと思います。
ただし、相手次第ですが、何十%かの支払いで終わらせる結論もあるでしょう。

「予約時にサイトで表示された店の名前は現地には無く、別の名前の看板がありました。」という点について、店側がどのように説明しているのか気になるところです。

店側の落ち度はあると思いますが、別の看板があることについて合理的な背景事情や理由説明があり、かつ、料理など提供されるサービスが全く同じで店名が違うだけということであれば、キャンセル料は発生しうるとも言えそうです。
逆に、店名だけでなく提供サービスも全く違う(つまり、予約した店と全く違う店)ということであれば、キャンセル料の支払義務はないものと考えられます。