借用書ありの借金について 相手は既婚子持ち わたし独身です

2年ほど前に風俗で働いていてそこで出会った既婚者の男性と仲良くなりました。
その際に、身体を売ってまでそんな仕事する必要あるか?お金が必要なら貸すから風俗はやめなと50万ほどお借りしました。その時期、奥さんとはあまりうまく行ってないようで、離婚も匂わせていました。また、最初の頃はお金は返さなくても良いという趣旨の言動もありました。これはボイスレコーダーに撮ってあります。わたしはそれを鵜呑みにしてしまい、身体の関係を持つようになりました。彼からは「赤ちゃんできたら、産むしかないでしょ??もし、赤ちゃんできたら奥さんも諦めるでしょ」等の発言もあり、信じてしまった自分がいました。これもいざという時のために音声を録音していました。そして、借りたお金は、彼の仕事のお手伝いして働いた分の金額を減らしていく、、、でも良いと言われていました。そしていざこざが起きる前ですが、この仕事が片づけば貸したお金もチャラになると彼が言っていた大きい仕事があったのですが、彼が他の業務でいそがしく、わたし1人ではできないことなので、彼が少し落ち着くまで待っている状態でした。しかし、そんなある日です。彼は個人事業主なので、事務所を持っています。その事務所にどうしても次の日使うものが置いてあり、夜とりに行くと、知らない女の人がいました。2人ともお風呂に入った形跡や一緒に寝ていた形跡があり、その女の人はすぐに帰っていきましたが、さすがにこちらも愛想が尽きてしまい、別れ話を切り出しました。すると、貸したお金の借用書を書けと書面を出してきました。彼はその道のプロでもある方なので、怖くなってしまいサインをしてしまいました。その借用書は、月に千円返してくださいといった内容で、わたしも経済的に厳しいので千円なら、、、とも思ったのですが、一応無料の弁護士相談にいき、この件を相談しました。そこでアドバイスいただいたのは、彼はお金が返して欲しくて借用書を作ったのではなく、嫌がらせ?的な意味合いなんじゃないか。今は払わずそのままほっといても良いのではないか。というお話でした。そのまま、放置していたのですが、あなたが生活できているか心配です等LINEが来たり、彼が食べたラーメンの写真が送られてきたり、かと思えばお付き合いしていない以上、ちゃんと返してくださいといった内容や最近は、お金を返さないと 給与を差し押さえる、法的措置をとります、世の中甘くないよと何通かLINEが来ました。
彼は不正行為と呼ばれるようなことを仕事ではやっていたりして、正直彼ばかりいい思いをするのは腹が立ってしまいます。彼は、不貞行為を繰り返してるようで、世の中甘くないよ、という言葉もそっくりそのままお返ししてあげたい気持ちです。(最後の話は余計でしたね)
こういった場合全額彼に返さなくてはいけないのでしょうか?たしかに甘えてしまったわたしが悪い部分が大いにあるのは認めます。ただ、このまま全額返してしまったら彼は何も痛くも痒くもないわけでそれが悔しいです、、、。逆にこちらがとれる対応があれば教えていただきたいです。

払う義務はないでしょうね。
しかし、あなたがサインしてるので、訴えられることも
あるでしょうし、いろいろ言ってもくるでしょうね。
これは、あなたの落ち度ですね。
法的判断になれば、もともと性関係に結び付いたお金な
ので、贈与あるいは、公序良俗に反するという理由で、
あるいは、サインは錯誤や強迫を理由にして、裁判所は
返還請求を求めないでしょうね。
あなたがとれる対応は、いまのところないですね。

ご回答ありがとうございます。給与を差し押さえると言われてるのですが、いきなり会社に連絡がいくと言ったことは無いでしょうか??そこだけが不安です。彼が言う法的手段というのがどのような流れなのかが分からないので不安です。

差し押さえる前に、裁判をして、判決を取らなければ
差し押さえできませんね。

ご回答ありがとうございます。
では、有り得るのは裁判所から呼ばれることがあるということでしょうか?

そうですね。
やるとすれば。
借用書がありますからね。

ありがとうございます!
職場にさえバレなきゃよいので、
もし呼ばれたらいってきます。
その際にその彼と会わなきゃいけないものなんでしょうか?質問ばかりですいません。
これで最後の質問です。

会うことになりますね。
あるいは、代理人を立てるか。

色々と教えてくださり、ありがとうございます(*^^*)