突然ルールを変更し2週間後の宴会キャンセルに応じてもらえない

4月15日に5月10日に宴会の予約を20名でしました。しかし、人数が大幅に増えたため、別のお店を予約することとしました。4月15日の予約の際、お店の方は人数の変更・キャンセルは2日前までと言っていましたが、4月26日にキャンセルの連絡を入れたところ、既に5組の予約を断っている。ゴールデンウィーク前のキャンセルは困るためキャンセル料を支払ってほしいと返事がありました。何度かやりとりしましたが、威圧的となり一向にキャンセルに応じてもらえずに困っています。こちらとしては当初の約束と違うためキャンセル料を宇払うつもりはありません。どうしたらキャンセルに応じていただけるのでしょうか。ちなみに、こちらは電話番号しか伝えておりません。

予約時に確認したことが、キャンセルについての
取り決め事項になりますね。
その店は、キャンセル料についての、規則を作って
いないのでしょう。
断わったことをたてに取られても仕方ないですね。予想が
つきそうな時期ですからね。
約2週間前のキャンセルなら、一般的にもキャンセル料は
発生しないかもしれないですね。
ともあれ、キャンセルの意思表示は明確に。