至急ご回答お願い致します。

個人間融資から7万円を借り総額11万2千円を返済する借用書を取り交わしてしまいました。
内訳は利息3万円、交通費12000円です。

現在、元金の7万円は返済済みで、
利息に関しては法廷金利内での再計算を求めた所
約束が、違うと4万円強の支払い督促連絡が日に何度もきます。

ネパール人を自宅に行かせるなどメッセージがきており自宅に帰るのも怖い状況です。

借用書を交わしてしまった以上
支払わないといけないのでしょうか?

利息制限法を超える利息約定は、無効になるので、あなたの考えで
いいですよ。
もともと契約の全体が無効なのですが、それはさておいておきます。

法廷金利20%の利息は振り込もうと思うのですが、
その話すらも聞いて貰えず払え払えばかりの連絡が毎日何度もきており
現状全て無視しております。

もう一度きちんと話すべきでしょうか?
ただ話にならないので法廷金利のみ支払い終わりにしたいのですが
家に来られたりしても困るので。

弁護士さんへの相談をすべきでしょうか?

利息制限法の範囲ではうまみがないでしょう。
嫌がらせをして高金利をとるのが仕事ですからね。
警察相談と弁護士相談ですね。