怖いです。男女問題で別れを切り出したら脅されました。

私は既婚していて子供もいます。旦那さんに内緒の借金があり、出会いサイトで借金の返済を助けてくれる方を探してました。5月の終わり頃からお会いしてる方と4回程肉体関係を持ちお小遣いを頂いてました。合計だと20万もいかないくらいだと思います。借金についてお願いしても課題と言うものを出してきて答えれず助けてもらえませんでした。毎日の朝と夕方の電話したりパート休んでまで時間作らされたり精神的に追い詰められ私も借金の返済に時間が無かったので家族に話すからもう会えないとその方に別れを切り出しました。着信拒否はして最後に別れをする為に電話をしました。家族に不倫の事俺が話そうか?とかメールで会いたいと来たのでもう会えない。と謝罪の言葉を入れました。そしたら俺には俺の考えがあるから。じゃあね。と来ました。ごめんなさいと送るとじゃあね。ときたので無視しました。そしたら今日ひどいね。ときました。家族にバラされるかと思うと怖くて毎日眠れません。相手には最初家族は大切だと話していて家族は大切にしてあげるんだよと言われて安心して会ってたけど子供産んでほしいとか言われた事もあり日に日にこわくなり切りました。相手は電話番号、口座や仕事場、最寄りの駅、アドレスを知っています。他にも証拠あるからね。と言われました。普通にお付き合いしてる時に自分の家には本物の刀があると言われてその時は冗談で切ってあげようか?とか言われてたり一度別れを切り出した時に俺死んでもいい?と言われた事もあり危ないなと感じた事もありました。全てにおいてこれは脅迫になりますか?どうしたらいいかわからず今はメールも無視してますがそれで大丈夫ですか?
もし職場や待ち伏せしたり家を突き止められたらどう対処するべきですか?

脅迫になります。
ストーカーになります。
あなたも、互角に戦える武器を手に入れたことになりますね。
不法行為ですから慰謝料請求できますね。
家族に話せば、それも不法行為になりますね。

警察に相談すると言えばいいでしょう。

とりあえず今はメールしかきていないので無視してみます。そして職場や職場付近で待ち伏せされてたら警察に通報してみます。
その時は多分旦那さんに全て話さないといけなくなりますね。もしそうなったら訴えた方がいいですか?

訴えたほうがいいでしょう。