土地活用会社の提示する条件があまりに一方的で困っています

隣地aさんと土地の一部を等価交換することになりました。aさんは土地活用を●●コーポレーションさんで行うので、すべての手続きはその会社が間に、入っています。
測量士も司法書士も土地活用会社が指定する業者を使って欲しいとの申し出で、別の業者を使いたいことを伝えると、同一の業者でスムーズに進めたいのでこちらに任せてくださいといわれ、土地活用会社の業者の言い値です。
さらに、問題はここからで、土地活用会社宛に等価交換する条件として確約書を提出するように言われています。aさんの土地と隣接するうちの塀をすべて撤去すると言う内容の確約書です。
それを提出しないと契約はできないと言われました。うちの建造物を壊す(費用は私負担)のが一部の土地交換の条件にされているようです。常識的に考えて、他人の建設の為に越境もしていない塀を壊せと言うのは土地活用会社の横暴だと思うのですが、どうにか阻止できませんか?
ただ一部分の土地交換はしたいので条件をすべて飲むしかないのでしょうか?

塀の撤去を条件にする理由を聞かないと、是非の判断が
できないですね。
隣地の建築に邪魔なんでしょうかね。

そうです、さん敷地に塀フェンス作るのに邪魔なのと景観を良くするためとのことです。うちは空き家なのですが、除草とかも行っていて荒れ地ではありません。

aさんの土地活用(アパート建設)の景観を良くするためにうちが希望している一部の土地交換(約1坪)のために言いなりになると思われているようです。

景観ですね。
相手の資産価値向上のためですね。
あとは、あなたが決めることですね。