元彼から脅されています。

ゲームで知り合った彼と付き合い別れました。
住んでる県は違いますが、2時間程の距離な為、何度もあったり職場まで迎えに来てもらった事もあります。 別れて揉めて、住所しってるからおぼえておけ、訴えるなら今のうち、頭の悪いお前でもわかるような事してやるからなどと脅されています。

このような時どのように対処すべきなのでしょうか…

家には小さな子供もいるので怖くて不安です

これからは、発言記録をこまめにとるといいでしょう。
脅迫罪やストーカーで、対処できます。
慰謝料も請求できます。

このような時どのように対処すべきなのでしょうか…

脅迫罪の可能性がありますので、エスカレートするようであれば、それを証拠に警察に相談することは考えられると思います。
相手の発言を録音とかメールで残していれば、証拠になると思います。

あとは、弁護士から注意警告の通知を出してもらうことも考えられますね。