新築住宅の外構工事の支払いについて

今年5月住宅を新築した際、外構工事を知合いの業者にしてもらいました。
2022年2月には図面を渡して見積り依頼をしました。
それから1年以上あったが見積りは出てこなくて、見積りされないまま工事にとりかかり完成に至りました。それからも金額提示はなく半年近く経っていきなり請求書が送られてきました。金額が想像以上に高くこんなに払えないと相手に伝えました。(工事遅延※1.5ヶ月程度、工事中の段取りの悪さやこちらが質問しても返答ない等あまりにもいい加減な対応が多かったのもあって)
相手は減額するために工事した物を撤去するしかないの一点張りで自分に非があったことを一向に認めることなく一時は勝手に現地に来て工事物を撤去しようとしていました。(勝手にしないでと伝えてそれは阻止できました。)
そういった奇行もありながら支払い額がきちんと決まってないにも関わらず一方的に相手が言ってくる金額で日々催促してきます。
そもそも見積り、契約書、注文書がなく工事後に請求書だけ送られてきて支払う必要があるのか?と考えるようになりました。(大前提で工事を依頼して、工事完了時には支払いをするということは勿論理解してます。)それは工事前、工事中、完成後の対応がすべて悪かったからです。
見積り、契約書などが何もない状態(工事完成から半年後に請求書と見積書同封されました)で費用を支払う必要があるのでしょうか?
工事遅延やその他対応がいい加減な所など請求額から減額の対象になるのでしょうか?
自分の提示した額で支払わないのなら裁判してもっと高額な支払いを請求をすると脅されています。一度請求書を送ってきておいて裁判するからもっと高額を請求することは通るものなのでしょうか?
一応相手が誠意のある金額や対応があれば支払いはしようと思っていました。

見積書も請負契約書も存在しないまま、工事にとりかかり、完成に至ったということでいいのですね。
請負契約は契約書がなくても成立しますし、商法の規定により一定の金額を請負人が請求できることになります。それは、出来高に対応する相当な報酬額となります(商法512条)。
本件事案では相当な報酬額に争いがありそうですので、交渉で合意できなれば裁判を起こしてもらうか、こちらから提訴(債務不存在確認訴訟かと思います)するかして、裁判所に間に入ってもらうことになるかと思います。
弁護士への交渉依頼も視野にいれるといいと思います。

契約書、注文書がなく工事後に請求書だけ送られてきて支払う必要があるのか?と考えるようになりました。

契約がなくても実際の業務で、仕事であることは分かっており、仕事の完成があれば相当の報酬は必要でしょうが、相手の言いなりである必要はありません。

あなた側も相当の金額を提示するのがよいです。そして協議のうえで落としどころを見つけるという話でしょう。