損害賠償は成立しますか。

来年3月に卒業する専門学生をしています。
半年ほどまえからバイト先の店長が新しい店舗を出すから卒業したら僕にやって欲しいと言われてやりますと言っていました。
ですが、僕には他にやりたい事ができたので2週間ほど前に辞めさせていただきますと言ったところ、"新店舗の手付金も払っているからもー辞めれない、自分で言ったのだからやりなさい"と言われました。
ですが、辞めますと言い続けたところ"損害賠償を請求するぞ"と言われ、それが怖くやりますと言ってしまいました。他にも消極的損害や積極的損害など色々な法律に関する事を言われたのですが、僕は法律のことをあまりしらないのでよくわかりません。
この場合、辞めてしまうと賠償請求は成立するのでしょうか。

また、損害賠償が成立した場合、何千万円にもなると言われています。
もし、成立した場合、それほどの金額になるのでしょうか。

そもそも,誰と誰との間のどういう契約が締結
されたのでしょうか。店長としての雇用契約なのか,テナントの賃貸借の契約なのか,明確でないし,契約書もありませんので,有効な契約が締結されたとはいえないように考えられます。まず,ここを明確にされることが必要です。損害も,誰に対する何の損害なのかはっきりしませんね。バイト先の店長が請求するのなら,どういう法的根拠でどういう損害を賠償するというのか,明確にしてもらう必要があります。あなたが約束したことで,店長が経済的な出費をしたり,負担したりしたのでしょうか。いずれにしても,あなたとしても,自分の意思を明確に表示されることが必要でしょう。今のところ,具体的な請求の根拠が明確でないので,これを明確にしてもらわない以上,取りあう必要はないと思います。

赤西さん回答有難うございます。
僕自身と店長との契約です。
店長としての雇用契約なんですが、グループなのでオーナーがいてます。オーナーが店舗のお金を払うのですがオーナーも賠償請求すると言っています。
僕が約束したことで、賃貸の手付金を払っています。賠償請求は消極的損害や積極的損害があると言われています。