遅延金の金額に納得いかないと言ったら「訴える」と言われました。本当に訴えられますか?

ある建築会社に防音工事をお願いしました。
非常に品質悪く、さすがに建築事務所もひどいと感じたのか自主判断で、
やり直しを何度もされたことから大幅に工事完了が遅れました。

最初示された工程表では、1か月の工期であったのが、実際は7か月かか
りました。

防音窓なのに枠が歪んでいるため閉まらない、外壁を壊されるなどの
目も当てられない状況の部分は自主改修されました。
しかし、知人に見てもらってもこれはひどいのではと言われる部分などの
修正をお願いすると
「細かい事ばかり言うと訴えるぞ。訴えられたくなかったら黙っておれ」
といわれ、怖くて黙っていました。

しかしながら、工程遅れに関しては、契約書に遅延金の記述があったので、
遅延金の支払いを要求しました。

すると、契約期間は5か月であったとのことで、遅延金は2か月分しか
払わないとの事。

そして、金額を聞いたら微々たるもの(工事金額の0.4%)。
計算根拠などを聞いたら、計算根拠示さずに
「この金額に納得しないなら、訴訟を起こして、支払いを無効にする」
と回答されました。

このようなケースで本当に訴えられるのでしょうか?
それとも、単なる脅しでしょうか?

よろしくお願いします。

基本的には、契約書に記載のある違約金(遅延損害金)の条項のとおりに請求できますし、逆にそれが限度です。
先方が訴えるかどうかについては、相手次第ですので、残念ながら脅しだけなのかどうかは分かりません。