犬の散歩中のトラブルについて

はじめまして。
4月11日午前10時頃、娘と二匹の小型犬を散歩に連れて行った時トラブルに遇いました。
少し先を歩く娘を追う感じで歩いていた私は、後ろから近付いて来る車の気配に気付いて、慌てて犬を抱き上げ端によけました。すると通り過ぎる車の運転手から暴言を吐かれたんです。車はちょっと先の運転手の自宅前に停まり、目があった私に更に文句を言って来ました。ここで娘と共にサッサと逃げるべきでしたが、私も運転手の男の一方的な暴言に腹が立ち、言い返してしまったんです。すると男は車から降りて来て、暫く道端で言い争いになりました。
男の言い分は、
犬を散歩させるなら、もっと端を歩け!
俺は急ブレーキをかけたのだから、すみませんと謝れ!
警察でも何でも訴えるなら、訴えろ! と、まあこんな感じです。
散歩させてた道は普段から良く通る住宅街の狭い道で、車が来たら直ぐに端によけるなど気を付けていました。徐行して通るような道で、急ブレーキって云うのはおかしくないですか?
何より怖いと思ったのは、男は私たちがその道をよく通ってると知っていたんです。
その場で警察を呼べば良かったのですが、その日に限って娘も私もケータイを持って来ておらず、とても悔やまれました。
帰宅後すぐに警察には連絡し、記録としては残してもらいました。いくつかのアドバイスも頂きました。
ただこの一件があって以来、散歩に出るのが怖くなり、すごく気を遣うようになりました。トラブルにあった道も通ってません。1週間経ちますが、いまだに男の顔や声がちらつきイヤな気分になります。
このような場合、法律的にはどちらが気を付けるべきなんでしょうか?
また私が受けた精神的ダメージを理由に運転手を訴える事ってできるんでしょうか?
今後の参考になるようなアドバイスをお願いします。

男性の方が悪いでしょう。
車両と歩行者では、車両の注意義務がずっと重くなります。
したがって、暴言の内容、言葉の応酬の内容如何では、慰
謝料請求の余地はあるでしょう。

早々のご回答有難うございます。
自宅の近所で思わぬトラブルに遇い、とても憂うつな気分でしたが、弁護士さんに話を聞いてもらえただけでも気持ちが晴れました。
本当に有難うございました。