介護をしない兄を追い出したい

わかりにくい文章ですが 宜しくお願い致します。
90歳の両親と長男である兄が現在一緒に暮らしてます。
数年前に家を建て直しました。
土地の名義は父 家の所有者は兄です。
家のローンが兄一人じゃ払える余裕がなく 妹夫婦も同居してローンを一緒に払ってました。しかし兄妹の折り合いが悪くなり 妹夫婦は隣に引っ越しました。
妹夫婦は両親の面倒を見る為を目的に遥か遠くから引越してきました。が、両親、兄、妹夫婦と暮らす内に仲が悪くなり兄の暴力で警察呼んだ事もあります。家の所有者は兄の為追い出す事は出来ず 妹夫婦は隣に住みながら両親の手助けをしています。
兄は両親の世話は自分がすると言う約束でしたが事実何もしていません。
世話をすると言うのは録音しています。
が、実際にはパーキンソン病の父が100キロある母の世話や洗濯や洗い物 買い物等できる事はしようと頑張ってます。
父がそんな兄に愛想つかし家を出て欲しいと心底思うようになりました。
お金かかってもいいから 弁護士さんに相談して兄を追い出しで妹夫婦と一緒に暮らしたと相談しました。
残り少ない余生を楽しく過ごして欲しいと願う兄以外の子供の思いがあります。
兄を追い出すのは難しいでしょうか?

お父さんも同じで、建物を取り壊してでも構わないというご意向なら、お父さんがお兄さんに土地所有権に基づく建物収去土地明渡請求でお兄さんを追い出すことは可能かもしれません。
建物を残したままだと建物に住む権利がお兄さんにはあるので、なかなか困難です。