念書に誤って合意してしまった場合

先月交通事故(自分は加害者)で不注意で十字路交差点の赤信号で進入してしまい、青信号で左から走ってきた車と接触しました。
事故後日、相手が電話を掛けてきて今近くを通りますので書類にサインをしてくださいと言われ、玄関にて後遺症がでたら全額負担します。という内容の念書で事故後日にて動揺していてサインをしてしまいました。保険屋さんには話しました、それも踏まえて示談交渉してみると言われましたが不安です。不安で食事も睡眠もまともにとれません。
念書を取り返す、念書を破棄させる、ほかにこちらがお金を払わずに済む方法はあるのでしょうか?また、インターネットで見つけたのですが、仮に念書を書かせたとしても,加害者本人が任意保険に加入していれば,その任意保険会社が損害賠償の請求先の窓口となり,示談交渉の相手方となります。また,加害者の任意保険会社と示談して賠償金を受け取った後では,加害者本人への請求はできません。と記載されていたのですが本当ですか?
長文失礼しました、よろしくお願いいたします。

後遺症が出たら全額負担します、は、念書があるなしにかかわらず
当然のことなので、被害者の方が心配してサインを求めてきたので
しょう。
あなたは、任意保険に加入しているようなので、相手の損害は、保
険でカバーされるでしょう。
しばらく保険やさんに任せておけばいいでしょう。
示談書は、のちに後遺症が出た場合には、別途支払うと記載されて
います。
保険やさんが、支払います。

ご回答ありがとうございます。任意保険加入しています。よかったです。相手の方に念書を返して欲しいと話した時に保険屋さんはシビアな世界だから自分(相手)が泣き寝入りすることになる。そして、知り合いの方でそうなった人を見たから心配なんです。だそうで、そういう場合でこちらに請求されたらどうすればよいでしょうか?

あなたが加入している保険やさんに連絡してください。
これで終わります。

ありがとうございます。そうします。