任意だと聞かされ購入した住宅の地域では、自治会は任意ではなかった。加入する義務はありますか?

1ヵ月前に住宅を購入しました。
契約の際、不動産担当者から重要事項に関して説明を受け、重要事項説明書を確認しながらの説明で、自治会の加入は任意と言われ 書面にも任意と記載があります。
しかし、引っ越し後に自宅へ自治会長が来られ 加入は任意ではありませんと言われました。

加入する義務はありますか?

ただ加入したくないという理由で断れますか?
それとも、正当な理由がなければ断ることができないのでしょうか?

加入する義務はありません。
判例上、自治会は、強制加入団体でないとされております(最判平成17年4月26日 判タ1182号160頁)。