途中で名義変更した積立年金を解約し、解約金を受け取った。それを返せと言われたら返さなければならないか

相続税対策のために、未成年の頃に父親に勝手に積立年金に加入されていました。本当は40年間払い続けるようなものなのですが、親の都合で5年間(2012〜2017年)だけ払い、その後は払込済みになっていました。計540万円払ったものが、私が60歳になったら約730万円になって返ってくるというものです。
2年前に私名義に変更したのでそれを機に解約し、450万円の解約金が戻ってきました。(あまりに利回りが悪すぎて、自分で運用した方が良いと思い解約しました。)もちろん贈与税も支払いは完了しています。
最近、解約したことが父親にバレて、父親がかけた積立年金の540万を全額返せと言ってきました。泥棒だと言われ、返さなければ警察に通報すると脅してきます。
これは返さなければならないでしょうか?

12個上の姉がいますが、保険会社に金を渡すのは損をするからと、姉は積立年金を断固拒否し、贈与税がかからない金額を毎年親にもらっています。私も現金で貰いたかったのに、その時幼かったので勝手に契約され、2年前の名義変更する際に勝手に契約されていたことを知りました。現金でもらうか保険会社を通じて積み立てるかの選択肢すら与えられませんでした。
父親は昔から自分があげたもの(お菓子やおもちゃ)でも、機嫌が悪くなったり、子供が自分の思い通りにならないとすぐに返せと言ってくるような性格です。

いまいちわからない事情があります。相続税対策=受け取る子の税金を減らす目的なのに、あなたが解約されて親御さんが怒っている理由がわかりません。あと、あなたの年齢を考えると、親御さんもそんなに年をとっているわけではないのに、なぜ早くも相続税対策をしているのでしょうか?こういう言い方はあまりよくないのかもしれませんが、本件よりも親御さんの性格を考えての行動が大事かもしれませんね。積立預金は返す必要がない(というか学資保険でもないようなので、名義の偽装がばれると最悪詐欺罪が成立します)のですが、返してしまって親子関係を考え直す必要があると思います。また、もし万が一あなたの親御さんがすぐに亡くなることがあったら、長女さんの生前贈与は特別受益になる可能性が高いです。