農地から宅地へのトラブル

私の父親名義の畑の一部を宅地にし、私たち夫婦と子供の家を建てる話をハウスメーカーとしています。
ハウスメーカーとの測量などが終わり、隣接してる土地の方との杭の確認をしたのですが、1人の方がこの土地を100万で買ってくれないと印鑑は押さない!という脅しにもとれるような発言をされました。
その方の土地は、父親の畑とは隣接してるものの、宅地にする範囲には隣接していないので宅地にできるか法務局でお話ししてもらったのですが、だめだったので、国の制度を利用しましょうということに。
そうなると、脅してきたかたの承認は要らなくてもお金がかかりますよね。
それに、国の制度でまた測量とかをしなさ直すのでさらに時間がかかり、その間に今まで決めてきたキッチンなどはリニューアルするかもしれない。
そのことを考えると、ハウスメーカーと打ち合わせしてきた時間、ハウスメーカーに測量してもらったお金、国の制度にお願いした分のお金、建てるまでに期間が延びる場合の材料費の高騰で無駄にかかったお金など、弁護士さんをつけて裁判などをしたら勝てるものなのでしょうか。

この土地を買ってくれないとハンコは押さないと言われただけなら、違法行為でもなんでもないので、訴訟で勝つのは厳しいと思います。