パート面接後に辞退するにはどうしたら良いですか?

私は現在、パートの仕事を探している所なのですが、
求人誌にて福祉系の施設の仕事を見つけ、未経験可とあったので、これなら私にもできるかなと、応募して面接を受けてきました。
しかし私も不勉強だったのですが、この分野の仕事は、施設利用者を会社の車で送迎する業務は必須ということを面接で知りました。(求人欄には、資格に普通自動車免許とは書いてあったのですが..)
私は普段車を運転しますが、あまり上手ではなく、まして会社の車で利用者を安全に送り迎えするという業務は、私には精神的負担が大きすぎます。

面接後、やっぱりこの仕事は無理と思い、採用連絡がある前に、「よく考えたのですが車の運転が苦手なので、辞退させてください」と担当の方に電話を入れました。
そうしたら、企業の方でも人材探しに必死なのか、もう一度考え直してほしいと言われ、強く言えない私は、わかりましたと答えてしまいました。
次の日にもう一度、やはり辞退させてほしいと意思を伝えたのですが、
「車の運転業務がなければ大丈夫か。希望を通すのであなたには是非来てほしい」と言われ引き止められました。しかし、実際に入社したら、どういう状況になるかわからないので、そのように言ってもらっても不安です。

自分の気持ちとしては、この会社では自分は合わないと感じているのでお断りしたいです。
会社の方に、いくら辞退させてくださいと伝えても、希望を通すからの一点張りで、私が辞退出来ないように囲い込んでいるような状態です。
まだ採用通知をもらっておらず、内定した段階ではないので、私には断る権利はあるのはわかっているのですが、私も口では強く言えないタチなので、いくら電話をかけても話し合いが平行線になるだけだと思います。
このような場合、辞退する旨を書いた書面を会社に郵送することで、応募の取り消しをすることはできますか?

辞退できます。
配達証明か書留で送るといいでしょう。
言葉遣いは丁寧に。
『気遣っていただいてありがたいですが、』とお礼も忘れずに。