アルバイト先へのマイナンバー提出義務について

アルバイト先に入社した当初アルバイト先(アルバイト先が委託している会社)へのマイナンバーの提出を求められましたが現在まで約2年半提出していません。
週20時間未満の勤務のため雇用保険には加入していません。
当時のアルバイトの管理担当の社員さんからは本部からは提出を求められても今すぐ提出しなくてもよい、またマイナンバーの提出は法律上は義務ではないのではないか?と言われました(その後その社員は辞めてしまい現在は担当が変わっています。担当社員が変わってからはその件については話していません。)

この度退職勧奨とパワハラがあったため退職を考えています。

退職の旨を伝えた際にマイナンバー未提出の件について何も言われず、且つ自己都合で退職できた場合(口頭で自己都合で良いと言われ且つ退職証明書でも自己都合と書かれた場合)はマイナンバー未提出で勤務しそのまま退職したことは法律上は問題ないのでしょうか?

税務署に出す従業員の資料にマイナンバー記載が求められているので、就労先に伝える義務は
ありますが、罰則はないので気にされる必要はないでしょう。

ご丁寧にご回答頂きましてありがとうございます。大変参考になりました