義父名義の土地、旦那名義の建物、毒親、義兄の侵入

現在、義父名義の土地に立てた、旦那名義の二階建ての一軒家で揉めています。

今、私たちは別の場所に住み、私たちが4万+年間の建物の固定資産税全額8万ちょい、義父母が毎月2万を通帳に振り込む形になっています。

家を出て一年半。今住んでるアパートが月6万。
うち、今年は子供も生まれてボーナスを切り崩しながら赤字かつかつの生活をしています。

義母(多分家族の中で一番権力がある)と性格の不一致と嫌がらせを受けたため旦那と家を出ています。当時は義母を訴えたい気持ちもありますが勇気はありませんでした。
私たちが出た後も見えないところで上の義兄、下の義兄が義母のご飯を食べに家にあがったりしているのですがとても不愉快です。
上の義兄、義母は家の中でタバコをふかします。
下の義兄とはほぼ絶縁状態の中、こちらにコンタクトもせず勝手に家に侵入しています。
今までこの家にタダ同然で住み続け、この上からネットや有料テレビ番組は全て旦那が負担していてお世話になっていたにもかかわらず私たちが勝手に出て行ったことに家族みんなで怒っていると逆ギレされとても怖いおもいをしたので話になりません。
今回その義兄が結婚するということで、義兄の嫁の両親がこちらにくるそうなのですが義父が見栄っ張ってなのか私たちにはなんの承諾も得ず勝手に家でするようなニュアンスのことを言っていました。納得がいきません。

こういう場合は不法侵入になりますか?
俗に言う毒親なので、コンタクトをとるだけ自分が傷つけられ精神的に苦痛を受けます。
義父母が2万円の負担と義父が名義の土地であれば家の中に入れてしまうのでしょうか。

状況が見えない点もありますが、住居侵入にはならないでしょう。
誰も入れないように、閉鎖してしまえば、別ですが。