個人情報の漏洩で前の職場の上司に注意書を送りたい

1月中旬まで働いていた会社があります。
車両を海外へ輸出するために必要な通関業をしている会社でした。
残業が多く、子育てしながら仕事していましたが、体調を崩し、入院もし、退院してからも残業をしいられ、このままでは私生活もダメになると思い退職しました。
社内規定や誓約書に3年間は同業他社への転職を禁ずるって書いてあり、みんながサインするような感じで詳しい説明等もなくサインしてしまいました。
退職後、2ヶ月くらい職探しをしたまたま良い求人があり、そこが前職場のお客さんにあたる会社で通関業はしていません。輸出をお手伝いする会社です。
私やまわりの認識では中古車を輸出する通関業をしている会社が同業にあたると思い、次の会社は同業には当たらないと判断し就職を決めましたが、噂を聞いた前の職場の上司が部下も何人もいる前で『〇〇の職場に行ったらしい。訴えてやる!』と騒いでいたと前の職場の子から聞きました。
まず、職業選択の自由があるし、同業でもない。そして私は前の職場の人には就職先も話していない状態なので、みんなに知れわたり、すごく、嫌な気持ちをしました。
プライバシーの侵害だし、訴えるとかみんなの前で言うのは名誉毀損??とか考え、上司に対して個人情報を大勢の前で言わないでほしい。と注意を促したいのですが可能なのでしょうか。。
また私が同業他社と判断されて訴えられる可能性もあるのでしょうか?
ちなみに機密情報も持っていませんし、顧客情報も持っていません。

可能ですね。
違法な言動です。
あなたの考えは適切と思います。
かりに訴えられても、退けることができるでしょう。

ご回答ありがとうございます。
すごく安心しました。