騒音クレームについて調停から裁判は移行する可能性について

中古マンション(フルリノベ済)をリノベを行った企業から購入しました。場所は5階で、夫婦2人で暮らしています。
引っ越してから1ヶ月で、管理会社から下の階の方が、施工会社へリノベ工事は正しく行えていたのか問いたいとの要望があると連絡がありました。
それについて同意し、その後下の階の方と施工会社で話し合いが行われ、工事は適切だったとの説明をされたようです。するとその数ヶ月後、今度は「あなた達の生活音がうるさいため改善し、その改善結果の検証をさせろ」との通知文書が下の階の方の弁護士から届きました。
私たちは矛先が急に変わったことに驚きましたが、以前下の階の方から連絡が来た時点で、絨毯を敷くなどの対策はしておりました。
また、特に大きな物音を立てるような生活はしておらず、相手方からも具体的な騒音について聞いても教えてもらえません。
それでもそのような連絡が来てしまったため、対応方法について無料相談の弁護士さんに相談しました。
「さらに騒音対策を講じることを文書にて回答し、直接の会話は控えるように」との助言をもらったのでその通りにしました。
すると、下の階の方は調停を申し出てきました。
申し出の内容は、色々と大袈裟に物事を書かれていたり、私たちの回答した内容が悪い方向に捻じ曲げられていました。
またもや私たちは頭を抱え、再び相談のみの弁護士さんへ相談しました。
「回答はすでに文書にて行なっており、こちら側の意見はそれ以上でもそれ以下でもなく、さらには事実無根の内容となっていることについて話し合いをする気はないため、調停は断ってもいい」
と助言いただきました。
現状、調停はお断りした状態となっています。
相手方はおそらく頭に血が上っており、話し合いをするとなっても私たちの話を聞く気はないと思います。現に調停の内容がそうなように。
しかし、今後相手方は勝てないとわかっていても嫌がらせのように裁判を行ってくるのではないか?と不安です。
正直、裁判となって弁護士を雇ってお金がかかるくらいなら、引っ越し費用に当てたいです。
もうここの家に住むのが苦痛なので引っ越すことを考えています。
そこで相談したい内容は、今後相手方が裁判を起こしてくる可能性はどのくらい高いのか?または引っ越した後でも裁判をされることはあるのか?
また、退室するからこれ以上やめてくれ。みたいなことを言うことはできないのか?
についてです。
長文となりましたが、ご回答の程よろしくお願いします。

相手方へ「マンションを出て行くため、それまで我慢してくれないか。」と言うことを、これ以上怒りを買わないように伝えるにはどのような方法が考えられるでしょうか?どうかお知恵を貸していただければ幸いです。

予測
裁判はしてこないでしょう。
負けるから。
今後嫌がらせが続けば別途対処しましょう。
面倒でも、記録は残していくといいでしょう。
以前住んでいた方とトラブルがあったのかもしれませんね。