父が建てた物置小屋の撤去を依頼されましたが、応じなければなりませんか?

お世話になります。
私の父母は離婚しておりまして、私は父方の姓を名乗っておりますが、別居していまして、父との接点は中元や歳暮を送った際に連絡をもらう程度でした。
そんな父が昨年の暮れに他界しました。
父には彼女がいました。
父は生前、その彼女所有の畑で野菜を植えて世話をしていたようです。
その畑に、父は物置小屋を建てたそうです。
父が勝手に建てたのか、了承を得て建てたのかはわかりません。
4月半ばに父の彼女から私に、その小屋を撤去してほしいと連絡がありました。
父が勝手に建てたのか、了承を得て建てたのかで違うかもしれませんが、私はその小屋を撤去しなければならないのでしょうか。
お力添えのほど、よろしくお願いいたします。

おそらく土地を無償で借りていたのでしょう。
死亡により使用貸借は終了するので、相続人に
対し撤去を求めてきたのでしょう。
したがって、相続放棄するか、撤去するかの
判断になりますね。
また判断の前に、どんな事情で建てたのか、わか
らないので詳しい経緯をお尋ねされてからのほうが
いいでしょうね。