怖いです。助けてください。

お金を返してくれないのならば、警察と弁護士を雇います。必ず返してください。
またあなたとの過去の不倫のことを主人に全て話して慰謝料を請求しますので、裁判所で会いましょう。
私は主人にお金を払う覚悟はできていますので。
今週の土曜までにきちんと返してくれれば、これ以上は連絡しないと約束しましょう。

と言われました。どうすれば…

ご質問者様は、お相手の方からお金を借りたのでしょうか?

請求額によりますが不貞慰謝料は減額できることが多いです。
弁護士に訴訟対応を依頼すれば、尋問となった場合を除き、ご質問者様が裁判所に行く必要はありません。
多くの事件では尋問を実施せず、和解で解決しますので、ご質問者様が裁判所に行かずに解決できる可能性が高いです。