私有地での車の移動に関する問題について

先日自宅前で車を停車していた所、近所の方から私有地だから移動して下さいと言われたので運転手が体調不良でトイレに行っていて私は免許を持っていないので移動出来ませんと謝罪しました。しかし車の隣りでまだかまだかと言われ家に押しかけて強制的に移動させました。
恐怖で近所に出られない状態です。他のお宅には注意はされていないようです。私有地であれば強制的になにをされても黙って従うしかないのでしょうか

車の隣りでまだかまだかと言われ家に押しかけて強制的に移動させました。
とのことですが、強制的に移動させたとはどのような状況なのでしょうか?