支払わなくてはいけませんか?

前職で年上だけど後輩の女性がいました。

私は仕事を変えることにより引っ越ししなければいけませんでした。
その人に悩みを聞いてもらい
私がやってあげる!と言われました。
最初はお互い精神疾患持ちであるのは知っているため体調不良など私がお金がなく何も返せないということもあり断っていましたが協力すると一点張りで協力していただきました。

最初に金銭を請求するような会話はしていなかったために
引っ越し作業中に急に貸しだからなと伝えられ
5万の借用書を書かされました。

そこからバタバタとしていましたが
彼女はよく遅刻し休むため時間があるのか
ひっきりなしに電話やLINEがきて
何度か仕事中もお構い無しでやめてくれといったら
私にはお前の都合なんて関係ないと言われ
お前のせいでドクターストップがかかったなど
言い出し今までかかった分返せと35万要求されました。

それ関連の手紙が何通も届きましたが
金銭の話とは関係ないこと
で私が子供ほしいと思っていたり結婚したいと思ってることに批判や罵倒するようなことも書かれていました。

私は気が滅入り死ぬことも考え体調を崩し
仕事を辞めました。
私にはずっとお金が無いため何もできません。

相手が望むように支払わなくてはいけないのでしょうか?

借用書等の資料を拝見していませんが、根拠のない請求をされて支払う必要はないと思料します。
今後も罵倒するような連絡が途絶えないようでしたら、弁護士に忠告の書面を送ってもらうといった対応も検討されてみてはいかがでしょうか。