自己所有の塀を壊すことについて

先日購入した土地、敷地内自己所有のコンクリートの塀を取り壊した所、隣地からクレームが入りました。内容としては、塀が今まであったから良かったものの今は塀が無いから防犯上危ないじゃないか、といった内容になります。
自身の感覚では、自分が所有している塀を壊しただけですから、なんの問題も無いと認識しています。
隣地の方はこれで誰かが入ってきて犯罪が発生したら責任を取れと言われております。
どうしても防犯を気にするのであれば隣地内に塀を建てるべきなのでは無いでしょうか。
こちら側が責任を取らないといけないのでしょうか。
また、なにかこちら側で対策をしないといけないのでしょうか。

ご指摘のような理解でよろしいかと存じます。
自己所有の塀をどのように処分するかはご質問者様の自由ですし、隣地のためだけに設置しておくべき義務もありませんので、責任を取る必要も対策を講ずる必要もないと思われます。