役員時代に貸したお金が返ってこない。裁判するべきでしょうか?

昔、役員をしていた会社の社長に貸したお金が返ってこず困っています。
正社員として働いていた有限会社で資金繰りが難しくなった7年前、200万貸しました。借用書はありませんが会社名義の口座に振り込んだ履歴はあります。
その際に、一社員から金は借りれないとのことで、入金前に役員になりました。その後、役員は3年ほどで辞任し、さらにその後会社も退職し、いまは個人事業主として業務委託を受けています。
貸した当時、お金は必ず返すと口頭で社長から約束してもらい、また翌年には私を被保険者とした法人向け生命保険に加入し、6〜7年後にはその積立で返済できるという話になりました。
この度、業務委託解除にあたり貸したお金を返して欲しいと言ったところ、50万円は株の譲渡に使い、150万は投資として受け取ったから返せない、と言われました。
また会社には数千万単位の借金があり、金があったとしてもそちらを優先しなくてはならないこと、私が急に業務委託解除をしたため売上が立たずお金がないと開き直ります。
ちなみに私が業務委託になったのは会社の社会保険費を下げるためですし、個人事業主になる前もその後も忙しくなると早朝出勤・深夜残業・休日出勤・徹夜などがあり、かなりブラックな環境でしたので、今回の業務委託解除は体力の限界のためです。
生命保険は解約してもらいましたが、知らないうちに返戻金の半分は契約者貸付で使われ、残金は80万強でした。
交渉した結果、返戻金の80万強を月々15000円づつ業務委託費として払うと言われました。それは源泉徴収するとのこと。
50万はたしかに役員として株を譲渡されたので戻って来ないのはわかるのですが、150万はあくまで社長個人に貸したお金であり決して投資とは思っていません。
また、後から知ったのですが貸した200万は会計に計上されていません。

以上のような状況で裁判を起こし150万円全額返済を求めて勝つ可能性はありますか?
それとも80万強でも戻ってくるだけマシとして受け入れるのが妥当でしょうか。
またその際、源泉徴収されるのは仕方ないのでしょうか?(個人的に貸したお金を報酬として返済されることに違和感があります)
ご回答いただけると幸いです。
よろしくお願いいたします。

こんにちは。裁判で勝てるかどうかは(相手が争ってきた場合を前提とします)、結局のところ証拠があるかどうかに左右されますので、借用書がない以上、相談者様の話を裏付ける資料がどれだけ提出できるのかにかかってきます。簡単ではないかと考えます。

次に、「業務委託費」として、もらっていたのであれば、外部的には源泉徴収をされても仕方ないといえますが、社長との関係では、源泉徴収分は「返済」されていないので、その部分は指摘できると考えます。