壊した分だけを払うということは出来ないのでしょうか?また交通費なども払わなければならないのでしょうか

私が車で帰宅中に狭いT字路を曲がる際にすみきり部分に並べられたカラーコーンを轢いてしまい壊してしまいました。すみきり部分は市は管理しておらず、私有地だそうです。
警察に連絡して来てもらいその場で事故証明を作ってもらい、こちらは壊した分のカラーコーンはお支払いますと言い、相手方はそれを了承してカラーコーンを買い替えたら領収書を後日こちらの保険会社を通して送ると言われたのでその場で解散しました。

ところが後日保険会社から連絡がきて領収書にカラーコーン、ブロック、ロープ、カラーコーンにつける工事灯で15000、警察署や県政の情報開示のために使った往復の交通費や情報開示費用の分が8000円ほど請求されました、応じない場合は裁判すると言われています。
壊した私も悪いですが壊した分意外の物も請求されて大変困惑しています
事故証明書にはカラーコーンだけ記載されていて他の物は記載されていません、事故当時の写真も一応こちらで撮ってあります。
保険会社も初めてのケースのようで私も世間知らずのためにどうすればいいのかわからなくて困っています。

壊したカラーコーン以外の損害について賠償する義務はないと考えます。
お相手は裁判するとおっしゃているようですが,あなたが保険に加入しているのであれば,たとえ訴えられたとしても保険会社の顧問弁護士が訴訟対応してくれるはずですので,全く心配いらないと考えます。
全て保険会社にお任せしておけば大丈夫です。