個人間の貸し借りで私が今後どのように対応すれば良いのか。

個人間のお金の貸し借りで借用書はないです。
まとまったお金が出来たら返すと話し、それで納得してくれていたと思っていました。
しかし、急に全額一括で返済してくれ、返済出来ないのであれば会社、家族に言うぞと言われました。その時は話し合い少ない給料で分割で支払う事で収まりましが、会社を首になり無収入で支払えなかった期間がありました。その時点で半分以上は返済していました。再就職先を探している時に相手側から返済金額に利息をつける。社会的にも落ちてもらうし、裁判沙汰にするからなと言われ、恐怖で返信も出来ずにいました。Twitter等で私の個人情報を公表し現在地を探していたり、友人や弟に接触してきたりなどありました。今日勤め先に連絡があり、直接会うことになりました。どのように対応したらよいのでしょうか?

「返済出来ないのであれば会社、家族に言うぞ」「社会的にも落ちてもらうし、裁判沙汰にするからな」という文句は、恐喝罪ないし脅迫罪にあたる行為です。
このようなことを言われた記録(メールや録音など)が残っているのでしたら、その記録を持って警察にご相談することをおすすめします。