賃貸契約で、事前に確認していた条件が契約後に却下された場合、契約の無効化はできますか?

自分は借主で、トラブルの相手方は不動産屋になります。(賃貸物件の大家さんは不動産屋とは別です。)

光回線が引かれていない物件だったため、
入居申し込みの際に、穴あけビス止めがないことを条件に工事許可の確認をお願いしていました。
そのすぐ後、光回線工事の申し込みを催促する連絡があったため、許可がいただけたものだと誤解し、契約/入居しました。
しかし、工事の立ち合いをする段になって、改めて文面で許可をいただくべく確認したところ「確認を失念していた」と回答があり、その後「交渉の結果、大家さんから工事の許可がおりない」と言われました。

物件探しの段階から、仕事および生活に関わるため光回線の利用を第1条件に。とお伝えしていたのに、契約後の確認でひっくり返されたのではたまったものではありません。
仕事にも生活にも支障があるため住むことができないのですが、契約の無効化など、契約に関する費用を返金していただくことは可能でしょうか?

また、やり取りを重ねるうちに「失念という言葉は便宜上使っただけ」「実際には記憶にないので返金には応じられない」と、これまた発言をひっくり返され、もうこれ以上の信用は難しい状態です。

契約の無効化が可能か不可能か、ご意見いただきたく思います。
また無効化が可能であれば、どのように行動するべきかアドバイスをいただけますと幸いです。
少しでも多くのご意見を伺いたいので、ご意見のほど何卒よろしくお願いいたします。

契約の解除が不可能な事案ではないと思いますが、

あなたが光回線を引けることが大切だと伝えていたことや、その後のやりとりについて客観的な証拠(メールや録音の記録)があるかどうか次第です。

あるのであれば、お近くの法律事務所に相談し、契約解除について書面を作ってもらってください。
ないのであれば、相手方からそんなことは聞いていないとか言っていないと言われてしまえばそれまでです。

ご回答いただき、ありがとうございます!