わからないので相談です。

会社に借金があり、退職金が振り込まれる通帳を預かると言われ指定した銀行で通帳だけを作り預けましたが、何も言われないでお金を下ろしているのはいいのか?ちなみに毎月返済はしてます。

>何も言われないでお金を下ろしている
というのは、会社側でしょうか、ご相談者様でしょうか。
ご相談者様の銀行口座はご相談者様のものですので、その口座からどのようにお金を下ろすかは当然自由です。

退職金を貸付金と相殺するのは、ご相談者様と会社とでしっかりした合意があって初めて認められることですし、そのために通帳を会社が保有するというのは極めて疑義があります。
ご不安であれば、お近くの弁護士にご相談に行かれてください。

ありがとうございます。下ろしているのは会社側です。自分が持っていたら下ろすから社長が預かっておくと言っていましたが、確認なく下ろされて相殺されてました。

勝手に他人名義の口座からお金を下ろすのは、いろいろな意味で問題があるので、銀行に伝えて口座を止めることなども選択肢に入ってくると思います。
今の時点でどこまで会社とケンカをする意思があるかにもよりますが、今後の対応について労基署にでも弁護士にでも相談された方がよろしいかと思います