面会交流の変更をしたい

一年前に協議離婚をしました。
小学生なる子供は私(元妻)が親権者となり生活してます。
協議離婚に伴い離婚協議書を元旦那が作成しました。月あたりの回数や時間に制限を求めない。学校行事への参観。誕生日やクリスマス等毎年交互に行う。夏休み等の旅行に関して意義を述べない等面会交流に対してすごく項目があります。

子供にとっていいと思い承諾しました。
がしかし、毎週土日の確約や、その土日に習い事まで行かしていたようで、こちらの予定があると伝えたところ、子供にそっちの、約束を断るか、もお習い事をやめるかと脅したり小学生になり、友達とも遊ぶ機会が増えたこともあり、断ることが増えたのを私のせいにされたりします。
毎日土日確約した覚えもないし習い事にも勝手につれていったりと言い合いが絶えなくなりました。なので、私は関与せず、子供と元旦那が約束し、月2回、3回のお泊まりを続けていますがこの度再婚することとなり、面会交流を見直そうと思っております。。
離婚協議で作成したものは、取り消し出来るのでしょうか。。会わしたくない気持ちはありますが子供が会いたくない等なんらかないと無理なのは承知です、また第三者祖母や元旦那の友達にも面会交流中にあっているようでそれも避けたいです。
宜しくお願いします

今後の流れとしては、

・変更の協議
・当事者同士では難しいなら、家庭裁判所で調停(第三者含めた話し合い)
・どうしても話がつかないなら、裁判官が決める

となります。

祖母や友達に会わせたくない具体的事情も含めて弁護士に相談に行ってみるのをお勧めします。