パパ活で借りた?お金について

2年前くらいから、パパ活のようなものをしています。一回会うごとにいくらという金額は決まっていなくて、今まで何度か、まとまったお金が必要なときや、困ったときに助けてもらっています。その際に借用書を書かされました。(100万円ほどの借金としてです)
しかし、現金で返すのではなく、100回ホテルに行ったら返済したものとして、借用書も捨てると言われました。
しかし、最近会うのが辛くなり、私は元々体調を崩しやすいのもあって会うと約束していた日にも体調が悪く会えないので日にちを変更してほしいというのが増えました。
今日も体調が悪く日にちの変更を申し出ると、当日の変更は許さん!他の男に可愛がってもらえ!他の男に売り渡すと言われました。
前にも同じようなのことがあって、他の男に借用書を渡して売り渡す、ヤクザに後を任せるなどと言われました。
私は会うのがもう嫌になっているので、月々の返済でどうか許してほしいと伝えたんですが、一括で100万円返す以外は受け付けないと言われました。
相手は結婚していて、息子さん娘さんは私と同じような歳です。相手の家も知っています。
相手にも私の名前や実家の住所、職場を知られています。
借用書があるので返済義務があるとは思いますが、一括で100万円の返済などとてもできません。かといって他の男やヤクザに売るなどにはこちらも応じられません…。
どうしたらいいでしょうか。

ご記載いただいた事実関係を拝見するかぎり、仮にそれらのやりとりを立証できれば、一切返す必要はないと判断される可能性もありますので、必要に応じ法テラスの無料相談等を利用して、一度弁護士に相談することをおすすめいたします。

また、先方の脅し文句がエスカレートするようであれば、証拠となり得るやりとり等をまとめて警察に行き脅迫罪や強要罪等で被害届を出せないか相談することも考えられるかと存じます。

回答ありがとうございます。
やりとりに関してなんですが、彼に見つかると問題なのでメールでのやりとりはすべて消してしまってるので証拠が無いんです。
ついさっきのやりとりだけスクショしてあります。
日にちを変更したことでペナルティなどと言って会う回数1回増やしたりしてきます。