個人事業主はこんなに立場が弱いのですか?

業務委託契約を結んで個人事業主として配送の仕事をしています。以前から配達時に何度かお話ししていた配送先の会社の女性を一度だけお誘いしたところ、その女性は誘われたのが迷惑だったようで彼女は上司に相談、上司が請負元にクレームを入れ、請負元が配送を委託してる運送会社に激怒し、その運送会社がさらに配送業務を丸投げしている自分の委託契約先の会社にドライバーを変えろと圧力をかけたようで、委託契約先社長と運送会社に謝罪に行くもその当日から仕事を外されました。
今まで仕事でのミスもなく、この件だけで仕事を外されることに納得いきませんし、運送会社や請負先、お相手の女性の方も含め怒りを覚えます。私は何も言うことがでないのでしょうか?

一般論として、個人事業主は、たとえば組合に加入する等して団体交渉をしないかぎり、交渉力が弱く、下請法等で保護されるケースでないかぎり、法的な立場も弱くなる傾向にあるかと存じます。

今回の件で仕事を外したことについて先方に業務委託契約上の違反がないかぎり、法的に何か主張することはできないように思われます。

所詮法律というものは、強者がより強者になるためのものであり、法律は弱者の味方ではないということがよくわかりました。