家族の遺産管理と預金の法的権利について相談したい

拙い文章ですが、ご了承ください。

実母が七年前に自宅で突然死しました。
私の姉の父A(血縁関係は姉とも戸籍上ありません。)と事実婚状態で母と暮らしていました。
10年以上前に当時母が「あなたら預金名義でお金を残すから」と私と娘、息子で通帳をつくりました。
私は早くに家を出ていて、亡くなった当時実家にも入れず、通帳や印鑑カード全て実家に置いていました。作った以降手元にもありません。
母が亡くなったあと、Aは女性Bを連れてきてしばらくの間Bと実家に暮らしていました。
通帳預金などはAも母が生きてる当時から「お前らには迷惑かけたからと」母と一緒に私達の為にお金を残してくれていました。
最近、Aから「お前らの預金から仕事上で金がいるから金を出してくれ」と言われて「まあ、仕方ない」くらいで2000万出して渡しました。
後々聞くと、Bと住むマンション代にしてたみたいで腹が立ったのでそれ以降は出さない。と決めました。
しかし、次は「仕事で不動産してるから土地を買うから5000万だせ」と。
出す必要があるんでしょうか。出したくありません。
Bがきてから実家も放置。仏壇も放置。鍵すら渡してくれません。
私たちのお金にするにはどういった対応をすればいいんでしょうか。自分達になればかかる税金等払います。
今のところ、取り上げられていた通帳などは解約をし新規の口座にいれました。
三年以上通帳が手元にないと、お前達のじゃない。と言われて怯えながら移行しています。
訴えられたりしたら、、と。
どうしたらいいでしょうか?
文章がわかりずらく申し訳ありません。
ご回答よろしくお願いします。

Aが会社をしてるんですが、(私は一切関わりありません)その関係で税務署から連絡が来て、姉の名義で会社のお金を管理してたみたいです。
それが税務署に姉へ連絡がいき、対策として私の名義の今のお金を姉の名義通帳にいれると。
それに対する私からの返事はAにはしていません。
この際、もう繋がりもないし、縁を切る覚悟です。
正直どうでもよかったお金。
どうしたら、手元に置いとけるでしょうか

あなた名義の預金(解約されたもの)は、お母様が生前、あなたに贈与した財産だと考えられます。
つまり、これは、あなたの財産です。
あなたの財産をあなたが持っていても、何の問題もありません。

なお、あなた名義の預金(解約されたもの)が、お母様の財産だと判断される可能性もあります。
もっとも、そうだとしても、Aはお母様の相続人ではないので、Aがあなたに請求する権利はありません。

したがって、いずれにしても、今後Aから何か請求されても、きっぱり断っていただいて大丈夫です。
しつこく請求されるようなら、弁護士への相談をお勧めします。

相談内容もうまく伝えれない文章で申し訳ありません。
少し肩の力が抜けました。
ご丁寧なお返事ありがとうございます!