内定した会社を辞退したい

派遣会社から内定をもらったのですが、自宅から職場までかなり距離があり、現在金銭的にかなり厳しく辞退したいのですが、可能でしょうか?一度は行くと伝えて相手の会社側にも伝えたみたいですが、やはり厳しいと思い辞退したいと伝えたところ、行くと言ったので相手側にも伝えたので損害が出ると言われました。
因みに雇用契約書も取り交わしていません。
辞退できるでしょうか?
宜しくお願いします。

辞退は可能です。損害については、具体的にどのような損害が発生したと相手が主張しているのかを確認する必要がありますが、原則として内定辞退者に対しての損害賠償請求は認められません。

ありがとうございます!
具体的な損害は言わなかったので、特にないと思いますが(笑)

一応は、法律論としては雇用契約に準じて、口頭でも成立、辞めるときは2週間前の通知、それがないと損害賠償と言うことになるのでしょう。
が、実際には損害はないでしょうし、辞めると言っている人間を数日はたらかせる意味もないので、実際には即時の解約は可能だと思います。