仲介から中古物件の欠陥伝えられず、また自身の健康状態で特約での契約解除も売主が返金応じてくれません

今回中古物件を購入することとなり仲介業者に入ってもらい契約をしました。元々売主は家屋調査済みでした。仲介業者から傾きがほぼない物件と聞いており、その他も特に気になる所も無かった為契約をしました。数日後気になる点があり、仲介に連絡した所返答が曖昧で、家屋調査の業者に直接連絡をした所修繕必要な程の大きな傾きがあると判明をいたしました。(この様な大きな傾きで仲介等から話しがないのはおかしいとまで言われる程)
金額も変わりますし、今後どの様にしていこうかと考えていた所、自身の健康状態によりローンの審査がすぐには通らない事実が判明いたしました。実際に通るか心配でもあった為、一旦ローン特約を使用し今回の契約自体を解除の方針となりました。仲介業者からは当初のリフォーム費用は返金がありましたが、売主から手付金の返金がありません。その上、契約違反による違約金、損害賠償の請求等の書類を頂きました。

そもそも修繕費がだいぶかかるのがわかっていれば契約自体しなかった上に、特約での契約解除での返金にも応じてもらえず、このまま泣き寝入りするしかないのでしょうか。

売主や仲介業者と締結した全ての契約書、相手方からの請求文書等の本件に関する全ての資料を持参して、一度お近くの法律事務所に相談されてみることをお勧め致します。