家主の行動について問題はないか

田舎で青果業を営んでおります。
昨年4月に、事務所として一軒家を借りました。
その貸家には物置場がついており、空き地が隣接していたので
資材置き場として一緒に借りておりました。
なお、家主さん(70代半ばごろ)は貸家の20M先に住んでいます。

昨年、借りた土地でよく家主さんのお孫さんたちが遊んでいたり、
家主さんも何の連絡もなく貸家の敷地内に入り剪定をしていたので
借り土地に子供たちが入らないように、敷地内に入るときは事前に教えていただくように、昨年秋不動産会社を通して伝えていただきました。

上記のお願いは聞いてもらうことなく、家主さんは私や一緒に仕事をしている日がいない時を狙って敷地内に入り、剪定や貸家の手入れをして、
何日もはしごや脚立、電動のこぎりが敷地内に置いてあることがありました。
また、借りている土地で、契約者である私に何の断りもなく何かを燃やしており
今でも黒く焼いた跡があります。
貸家の外壁についているコンセントに、外灯のコードが差し込んでいたのですが
それも外されておりました。(不動産会社が家主に問い合わせたところ、外灯が壊れているから不要と思って、と回答ありましたが、外灯は入居時すでに故障しており、剪定時使う電動のこぎりの電源を差し込むために外した可能性あり)
また、物置場の鍵穴もいつの間にか取られておりました。
このようなことがあり、いつ敷地内に入ってきて何されるかわからない不安や恐怖、
不信感でいっぱいになったので、今月末で退去することにしました。
上記の家主さんの行動には問題はないのでしょうか?
アドバイスいただけると大変助かります。
どうぞよろしくお願いいたします。

問題ある場合、家主にはどのような責任を問えますでしょうか?
法的には問えますでしょうか?

鍵穴の件は、不動産会社を通じて
元々なかった、と回答ありましたが
入居時には鍵閉めていたので、間違いなく
鍵穴は途中から無くなっています

貸主は、悪気はないかも知れませんが、借主に対する配慮が著しく欠けている
でしょう。
いずれも借主の同意を得るのは当然のことで、不安、恐怖を与えたことについ
ては、責任があるでしょう。