借りてはいないけど返さなきゃいけませんか?

色々困ってた時、
知人が「手伝ってあげる!」と言い出し
助けていただきました。

もちろんその時はどうであれお礼をしなきゃなと考えていました。
ですが知人に私が頼んだ訳ではなく
「お礼は○○連れて行け。後今回貸しだから5万ね。」とあとから請求されました。
(知人が借用書持ってきたためサインを書いてしまいました。)

私が今まで知人に対してお礼を求めるタイプではなかったのですがそれを急に言われてモヤモヤしました。
お礼するにもなかなか体調不良が治らずバタバタ忙しいこともあり遅くなることを伝えると、
ひっきりなしに仕事中LINEとかが来て
「私には関係ない。お前のせいで体調不良になったから仕事休んだ分とか含めて35万返せ!」
と言われ
途中から返さなくていいと言われましたが
また返せと騒ぎ出して
その後手紙でも傷をエグるような話
(私が母親を亡くし父親しかいないために片親は常識がなってない。
お前が子供を望むなんて。等)や
勝手に作った追加の借用書が届きました。

警察にも相談しましたが
借用書書いちゃったんだから返せば?と
適当に突っぱねられました。

私は縁を切りたいのですが
周りに迷惑をかけることになるよ?など
私の実家にも勝手に行って話してるようで
どうしたらいいかわかりません。

払うしかないのか?縁は切れないのか?
本当に追い詰められて限界です。

法的には、準消費貸借という形になります。
ご記載の事情だと、旧債務の不存在ということを主張することも難しいように思われますので、支払義務が認められる可能性は高いように思われます。