日雇い派遣先で誤って物損してしまった賠償責任

先日、バイトアプリで1日だけのアルバイトに行きました。
そこはとある施設なのですが、作業場から廊下に出て、玄関まで出るときの扉がタッチパネルで暗証番号を押さないと開かない仕組みになっていて、そのことを何も聞かされていなかったので、帰るときに扉を開けようとしても開かず、押し方が足りないのかな?と思い、(大きい重たい感じの扉だったので)強めに押したら開きました。その時、ピーっという警報が鳴って、事務所の方が、よく開いたね?普通開かないんだけど、強く押した?と言われ、「一回押して開かなかったので、ちょっと強めに押したら開いたのですが、、」と答えました。無理に開けたので、警報が鳴ってしまったらしいのですが、鳴りやまなく、事務所の方もちょっと戸惑っていたのですが、「扉の開け方を言わなかったから悪かったけど、タッチパネルで○○○の番号を押すと開くから、次回からそうやってください」と言われ、そのときはそれで終わりました。そして、次の週もそちらの仕事に行ったのですが、その時、帰り際に、「先週あなたが無理やり扉を開けたせいで、扉の枠が壊れてしまった」と言われました。見ると、本当に扉のロックがかかる部分の部品の枠が壊れていました。「扉の開け方を知らなかったとはいえ、無理やり力づくで開けたのは、故意にやったと同じことだから、本社に聞いてみますが、個人で弁償してもらうかもしれませんので」と、いきなり言われました。私としては、まったく知らなくてやったことだし、そんなに強くやったつもりもなく(力がない方なので、押し方が弱いと思って少し勢いをつけて開けただけです)いきなり言われて、気が動転してしまい、わざとじゃない、そんなに強くやってない、と言ったのですが、普通は強く押しても開かないから、とか、開かなかったらすぐに誰か呼ぶべきなのにそれをしなかったあなたの責任です!と言って聞き入れてくれず、一方的に100パーセント私に責任を押し付けてきました。
こちらとしては、初めての就業場所で右も左もわからないスポット派遣にちゃんと業務上の注意点などを説明しない方が業務怠慢だと思いますし、むしろ自分の業務上の過失が招いた(タッチパネルを言わなかった)ことなのに、直接雇用じゃない派遣社員に都合よく全責任を負わせて、自分は責任逃れしようとしているだけにしか感じられません。100歩譲っても、その人と私の半々で責任を負うならまだ理解できます。なのに一方的にこのようなことを言われ、その場では謝りましたが、はっきり言ってパワハラに該当するのではないかとすら思い、労働基準監督署に相談してみようかとも考えました。あと、タッチパネルでしか開かないようになっている扉が、力のない私でも開いたくらいなので、もともと弱っていたのでは?とも疑ってしまいます。(その人も絶対開かないはずだ、とか言ってたので)
もちろん、説明されていたのにやってしまったとか、ずっとそこで何回も働いてるのに壊してしまったなら、故意と言われても仕方ないかもしれませんが、その日初めて行った場所で、説明も受けてないのに、責任取れなんて聞いたことがありません。ちなみに派遣会社側は私個人と、施設の方の問題だから、うちは関係ない、と言っていたそうです。
こういう場合、もし私に請求がきたら払う義務あるのでしょうか?
とりあえず、今後またこちらの施設の仕事に行く予定があるのですが、すべてキャンセルしようと思ってます。(キャンセル可能なので)
どうかアドバイス宜しくお願いいたします。

あなたの考えが正しい。
開錠の方法について、始めてくる人に対して、事前説明義務違反があります。
説明義務違反の結果、生じた不具合と思います。
あなたが強く押した行動は、だれでも同じ行動をすると思います。
不自然な行動ではありません。
相手側に責任があると思います。

ご回答ありがとうございました。まだ連絡はきてませんが、もし「部品が壊れるくらいだから、絶対に力づくでやってるから故意だ」と言って、強引に請求されたらどうすればいいですか?無視でいいですか?それとも労基にパワハラ行為ということで相談した方がいいですか?

無視でいいですよ。
訴えると言うならば、訴えて下さい、と言っていいですよ。
パワハラとは違うので、労基も乗っては来ないでしょう。

ありがとうございます。アドバイスしていただいて、気が楽になりました。
安心いたしました。