離婚後の覚えのない借金で脅されています

20歳の時に結婚をし、5年間の生活の後、今年の3月に離婚いたしました。
夫婦間で、三人の子供の親権を分け、養育費、慰謝料を求めないとした話し合いによる離婚でした。
その後向こうの家族に離婚の報告に行ったところ、元嫁の祖母から今まで生活費で援助していた金額234万円を、一括で僕から請求させてもらうとの旨でした。
234万円の内訳ですが、
車の購入費や、車検代として90万円
嫁の携帯代を向こう名義で払っていて
それが月4万円×36ヵ月分で144万円
計234万円との事でした。
まず、携帯代に関しては結婚当初は嫁名義の携帯が、いつの間にかに祖母の名義に替わっていて、毎月の給料から15000円嫁が携帯代として持っていってた為、今年の一月に祖母に事情を説明されるまでの間、まったくお金を借りていたということを知りませんでした。元嫁はその15000円は祖母に渡していなかったそうです。
祖母には夫婦の生活費なんだから全部払ってもらうと言われていますが、元嫁の毎月携帯代40000円の中には自分の服の購入費だったり、データの通信の購入費だったりの私用になってるものもあります。
また、他の90万円に関しても、
10万は借りたことがあったのですが、
他の80万円に関しては全く知らず、
夫婦で話し合って、借りていませんと言っても、「貸した方は覚えている、夫婦で借りに来たはずだ」との一点張りで聞く耳をもってくれません。
もちろん上記の234万円の内、224万については、何も知らなかったので、
連帯保証人になったこともなく、借用書もありません。
それどころか、僕の家族の方に話にいく、女は怒ればなにをするかわからない。と脅しにも取れるような事を言われて、とても怖くて困っています。
(この辺りの会話はボイスレコーダーに録音してます)
知人等の話を聞いたところ、昔祖母は元夫の家族の仕事場や、知り合いに電話をかけて、お金をゆすったり嫌がらせしていた事があったそうで、
僕の仕事場や、家族に迷惑や危害が加えられるのではないかと日々怯えています。
僕にはこの借金の支払いの義務はあるのでしょうか。
せめて、内容を把握している10万円+携帯代を滞納していると知ってからの半年間での24万円の計34万円を、夫婦で分担して払うと言うことならわからないこともないのですが…
認めないのなら慰謝料として、払ってもらうとも言われましたが、
それなら僕の家族に、今まで助けてもらったお金を向こうに慰謝料として請求することも可能なのでしょうか。
困っています。長くなってしまって申し訳ありません。お返事お待ちしております。

借りていないのであれば、返済義務はありません。
お互いに慰謝料として請求できる可能性も低いです。
相手方に難があるということであれば、お早めに弁護士にご相談されることをお勧めいたします。

本庄卓磨様
お早いご回答ありがとうございます。
向こうが携帯代を払っていたというのは=借りたという事になるのでしょうか??

当事者間で借りる旨の合意(または合意があったと推認させるような客観的事情)がなければ,借りたことにはなりません。
金額も含めて,相手方の主張に疑わしい点がありそうですね。

わかりました。
親切なアドバイスありがとうございます。
あまり刺激しないようにもう少し向こうの出方を伺ってみます。