対向車を交わす目的の敷地内侵入

細い道で、対向車を交わすために、一時的に、見知らぬ人の家の敷地内に入るのは違法ですか?

いつも入っているため賠償などが怖くなりました。

対向車を交わす目的のみで、すぐに移動するだけであれば、やむを得ない行為として、違法にまでなる可能性は極めて低いです。
とはいえ、敷地の所有者も望むことではないと思いますので、もう既に努力されてると思いますが、無理のない範囲で、可能な限り侵入を避けるようにはしましょう。