事故の相手からの謝罪について

自転車をマンションの駐輪場に停めていました。
その場に居ない時に方向転換しようとした車にぶつけられました。
車の方が警察に連絡をされたらしく警察に呼び出され、事故についての話をされました。
その場に居なかったにしても自転車の持ち主が私であり、目に見てわかる傷や故障がなくても保険会社に連絡を、と言われました。そのためぶつけられた側である私が保険会社に連絡し、保険会社との話の結果を車の方と直接話をするように、と言われました。
話が終わり連絡先を交換し、帰宅したところ、相手側から直接謝りたいから部屋に行きたい、と電話がありました。
私は一人暮らしで、相手方が異性であることから部屋に呼ぶのは怖かったため、そんなに謝られるようなものでもないので謝罪は結構だと何度伝え電話を切っても直接謝りたいから、と何度も何度も電話がかかってき、会うというまで電話がずっと続きました。

はっきり言ってあまりにも謝罪することに固執しているのか執拗に電話がかかってきた事が怖くて仕方ありませんでしたので会うのが怖く、約束はしましたが当日に会いたくありません。事故の加害者被害者という立場だと、会う約束を反故にしてしまうと謝罪の場を拒否したと法的に問題があったりするでしょうか?
また、保険会社とのやり取りをした後、相手方と直接やり取りをする必要はありますか?

会う約束を反故にしてしまうと謝罪の場を拒否したと法的に問題があったりするでしょうか?
また、保険会社とのやり取りをした後、相手方と直接やり取りをする必要はありますか?

→謝罪の約束を反故にしたからといって法的に問題があるわけではありませんし、相手方と直接やり取りをする義務はありません。
ご自身が話をするのに抵抗があるのであれば、代理の方にお願いするなどの対応をされた方がいいでしょう。

では、保険会社に連絡をし、保険会社の方に相手の方と話をしてもらうのをお願いをして相手の方に「保険会社の方と直接お話してください」とお伝えしても問題ないということでしょうか?

物損に関して、
保険対象なのか、また、対象だとしても使うかどうかといった点に留意する必要があります。相手方が保険を使わない場合、相手方と折衝する必要があります。
ただ、直接会う必要はありませんので、書面対応などでよいでしょう。
つきまといのような形になった場合は、警察への相談・弁護士への相談を検討なさってください(説明するための資料があるとよいので、電話の頻度や内容がわかるものをご準備されるとよいでしょう)。