財産分与を決める際過去のお金はどうしたらいいですか?

離婚するのに財産分与で話し合っています。しかし、まだ分与額を決めることにたどり着いていません。夫が過去の通帳を見て記憶のないお金を追及してきています。私が使ったのか、夫が使ったのかさえわからないお金をなぜか私が使ったといい、この分を返せと言ってきます。しかし、夫婦中が悪くなったここ一年くらいの間に夫は何かを察したのかお金をほとんど引き出していました。どちらかと言うと過去はまだ仲良かったし、その件でもめたこともなかったわけで、ここ一年くらいの夫のやり方の方がおかしいと思います。こういった場合どうしたらいいですか?過去は正直どちらがなにに使ったのかは記憶にありません。最近のは間違いなく夫です。

そもそも財産分与の基準時は、別居時または離婚時です。
別居時または離婚時に存在するプラスの財産(預金や不動産)とマイナスの財産(借金やローン)等が財産分与の対象財産となります。
別居前に生活の中で使ったお金についてはそもそも財産分与の対象となりません。

配偶者さまの主張が、別居後にご相談者さまが浪費した、というものであれば、財産分与の対象となり得ます。

まだ同居しています。離婚の話になったのはここ最近ではありますが、離婚になりそうな雰囲気になったのは一年くらい前からです。その頃から夫は貯金を引き出しはじめ、いざ見たらほとんどなくなっていました。主人の言っているお金は5年も6年も前で、車を購入したり子供の学費に使ったりしたものです。といっても、一気に下ろして使ったので明細は定かじゃありません。

配偶者が引き出していたお金がどこかにある(別の口座に移しているだけ)であれば財産分与の対象となり得ます(どこにあるのか、という問題は当然あります)。
既に使っているのあれば、基本的には財産分与の問題にはなりません。