弟と縁を切りたいです

弟は幼少期から厳しいオヤジに逆らわず、一緒になり僕を小馬鹿にしてきました。
今は、緊急連絡先を弟にされています。
僕からの電話には一切出ません!もう限界ですので、弟とだけ縁を切りたいです。

「縁を切りたい」だけですと、弁護士として具体的に回答できる内容はありません。
法律上「縁を切る」という文言があるわけでもなく、具体的に何も要望されているのか分からないからです。

単に連絡を取り合いたくないのであれば、このまま連絡せず、連絡が来ても無視をするという方法が考えられます。
戸籍上の関係を切りたいという場合、現在の法律上、戸籍を個人の感情的な理由で書き換えてということは難しいため、おそらく困難と思われます。
「緊急連絡先」がどこの、どのような理由・経緯で設定されているものなのか不明ですが、こちらを変えたいなら、「緊急連絡先」を登録している先の団体・会社なりと、弟から別に人に変えられないか等ご相談される方法はありうるかと思います。

「厳しいオヤジに逆らわず、一緒になり僕を小馬鹿にしてきました」とありながら、「オヤジ」さんとは縁を切らなくていいけど弟さんとだけ切りたいなどとおっしゃる経緯も含めてまったく詳細が分からないところではありますが、お伺いする限り、現状、これ以上のご案内は致しかねます。
どうしてもより詳細なご相談をされたいならば、プライバシー等の問題がある掲示板上ではなく、
実際に弁護士事務所に問い合わせて、弁護士と対面で、これまでの経緯等お伝えされたうえでご相談されてみてください。