消防団報酬の強制徴収について

所属していた消防団でトラブルがあり、所属部員10人全員で退団したため、旅行等のために積立していた団員報酬を全員で分配する予定でしたが、その後に格下げで配属された団員がその積立金全額を引き渡すように要求してきました。積立金にはその団員の原資は含まれていないため拒否しているのですが、この場合渡す必要があるのでしょうか?
また、強制徴収された場合訴える事は可能でしょうか?
渡さない事を近所中に触れ回って困っています。
団員報酬は、個人の通帳に振り込まれたものを一括で管理していたものです。
ご教授宜しくお願いします。

相手は全員退団する原因を作った本人で、当初は全額みんなで分けたら良いと言っていたが、その後20〜30万残してくれたらに変わり、挙句全額渡すようにと発言が変わってきております。

積立金の取扱いに関する規約があるかないかにもよりますが、原則は、消防団員の個人個人が自分のお金を出して積み立てていたのであれば、口座内のお金は出した人のものです。
消防団のものではありません。

また、団員の1人が自分名義の口座で預かっていたのであれば、当然に消防団が預かっていたといえるものでもありません。

仮に消防団が口座名義人を通じて預かっていたと解釈したとしても、お金を預けた人が消防団を脱退した場合は、消防団にはお金を預かり続ける理由がないため、不当利得として返還しないといけません。

よって、いずれにせよ、お金の引渡しは拒否すべきです。

また、上記の通り、お金を預かっていたのは口座名義人であり消防団ではないという解釈も成り立ち得ます。
なので、現時点で、お金を出した人達で、出した金額に従い分配精算してしまうのがよいと思います。
後から色々と吹聴されることは、別途の名誉毀損などの問題として対処するのがよいでしょう。

遅い時間にも関わらずご回答頂きありがとうございました。
規約等は作成しておらず、むしろ同意書の提出を求めてきましたので拒否しましたが、その後今回の質問の内容に至った経緯です。
ご教授頂いた内容を全員に話して、対応を検討してみます。