無断で元彼が合鍵で家へ入る行為

2ヶ月前に別れた元彼についてご相談です。
別れてから何度も私の家の合鍵を返して欲しいと伝えてましたが、音信不通にされたり、体調が悪いや仕事を理由に中々返してくれませんでした。
彼の大量の荷物もあった為そちらも取りに来る、もしくは私から送ると伝えても、うやむやにされていました。

昨日、他人が合鍵を持っているのは怖いし、不在時に入られたりしたら嫌なので鍵だけでも送ってほしいと連絡をしました。
彼からは体調が悪いから近日中に取りに行く。とだけ連絡が来ました。

しかし、本日彼から荷物を取って鍵はポストに入れました。と連絡が来ました。
散々、伝えても取りに来なかったのにいきなり無断で自宅へ入られる事というのは不法侵入ではないでしょうか?

入らないでほしいと伝えているにも関わらず、勝手に入っても良いのでしょうか?

法律上は住居侵入罪にあたる可能性は高いと思いますが、警察が動いてくれない可能性は高いです。
相談者の方の承諾があったと彼が誤信した可能性があり、そのことに正当な理由がないとまでは断定できなさそうだからです。