祖父からの贈与金返還要求、法的義務と名誉毀損の可能性は？
どうぞよろしくお願いします。
祖父からもらったお金を突然に返してほしいと言われて困っております。
以下詳細です。
約2年前になりますが、祖父から「全財産をおまえ（私）にあげたい」と言われました。理由は「娘（私の母）と息子（私の叔父）は面倒を見てくれないから財産を残したくない（渡したくない）。」ということでした。
しかしながら、私も祖父の家から自宅まで片道車で2時間もかかるので、「これまで通り年に数回会いに来ることはできるが面倒はみれない」と伝えました。その後、祖父と銀行へ行き400万円をもらいました。
もらう前も、もらった後も変わらずに年に数回会いに行ってました。
そして去年の10月ごろ突然祖父から電話があり、『俺の通帳から10万おろされてる。お前俺の金を何につかったんだ！泥棒。警察に行く！』と言われました。
私も身に覚えがなかったので、警察に行く前に祖父と銀行に行って事実確認をすることにしました。
銀行で調べてもらうと本人がおろしている動画がありますと言われたのですが、『それは近所のやつだ。俺に似ているんだ。』と言って納得しませんでした。
銀行から家族と本人にだけならその映像を見せてもいいと言われ確認したところどう見ても本人でした。
ですが納得せずこのままでは銀行にも利用者にも迷惑なので無理やり連れ帰りました。
もうこの時点で私は祖父に関わりたくないという感情はありましたが、抑え込みました。
それから、同年11月末にまた電話があり、「家のボイラーが壊れて50万円必要になったから送れ。」と言われました。「突然、50万円も送れない。お金が必要なら一緒に銀行におろしに行こう。」と提案しましたが、続けて「50万円を送れないのなら、あげた400万円を返して欲しい。」と言われました。
「もらったお金は結婚式や車を購入してもう無い。」と伝えると怒鳴りながら警察に行くと騒ぎ立てました。
どうしても必要なのだと思い、仕方なく50万円を送ることにしました。そのときに「最後に50万円を現金書留で送るからもう連絡しないで下さい。」と伝え電話をきりました。
そして今年3月、祖父は警察に行ったようですが、取り合ってもらえなかったとのことで裁判をすると言って弁護士に相談をしたようです。
本人は、「孫と連絡が取れない。面倒をみるからと条件をつけて金を渡した。50万円しか返してもらっていない。」と言っているようなのですが、そもそも面倒をみる約束などしていません。
この場合、350万円は返さなければいけないのでしょうか？
また、今回の話を祖父が介護関係者や、祖父が住んでいる地域（私の地元でもある）住民に『孫に金をとられた。泥棒された。』と言っていると叔父から聞いたのですが、これは名誉棄損にはならないのでしょうか？
小さな町なので噂はすぐに広まることを考えると、地元に帰りにくくなりとてもいやな気持ちになっています。
書面によらない贈与は、履行の終わった部分の解除ができませんので、法律上は返還する義務はないでしょう。
ただし、祖父の面倒を見ることが贈与の条件となっている「負担付贈与」であれば別の解釈となりますが、これは詳細な事実関係をうかがった上での判断が必要となります。
また、祖父が贈与ではなく貸し借りだったと主張してくる可能性も数多に入れておいた方が良いかもしれません。当時、何かしらの書面を作ったりしていますでしょうか。
法律論を離れての感想として、たいへん恐縮ですがお祖父様が認知症を発症されている可能性は検討されましたでしょうか。被害妄想的なエピソードの存在が気に掛かるところです。
名誉毀損だと主張する前に、介護関係者などに経緯について話を通しておくことも対応として考えられるかもしれません。
丁寧に回答していただきありがとうございます。
わかりづらい説明ですみません。負担付贈与についてですが、「面倒をみれないのであれば４００万円を返してほしい」と「今」は主張していますが、もともと連絡を絶つ前に（先にも記載しましたが）言われたことは「５０万円を送れないのであれば４００万円返してほしい」という話でした。
途中で話がすり替わっています。この５０万円を送れと言われたところから、連絡を絶ったので、それまでは（仮に面倒をみることが、今まで通り年に数回会いに行くことだとしたら）変わらず会いに行っていました。
つまり、変わらず関わりがあった時点で４００万円の返済を求められています。この場合はどうなのでしょうか。
認知症についてですが、介護認定を受ける際に認知症検査はしていると思います。（なお確認してみます。）仮に認知機能に問題があるとすれば、この問題にどのように影響することが考えられるでしょうか。
また、介護関係者には話をしましたが、祖父がお世話になっている施設でもこのようなこと（祖父がこのことについて他利用者にも話をしている）が続くのであれば他利用者の迷惑になるかもしれないので施設を利用できなくなる可能性もあると介護関係者から示唆されました。
追記です。
特に書面は作っていません。
これまでの経緯を丁寧にうかがわないと正確性を欠く回答になり得るため、ネット上での回答としてはこの程度に留めたいと思います。お近くの弁護士にご相談（対面相談）された方が望ましいでしょう。
もともと単純な贈与で、負担付贈与ではなかったのですから
面倒を見ることをしなくても返還の必要はないと思われます。
負担付贈与であることは、祖父も立証することは難しいと思います。
祖父は程度はわかりませんが自分で下ろしたのを忘れてしまうくらいなので
認知症である可能性もあり、
後から他の遺族から贈与時には判断能力がなかったから無効だと言われる可能性もあります。
村上先生
今後、弁護士に相談することも検討してみます。
丁寧に対応いただきありがとうございました。
高島先生
丁寧に回答していただきありがとうございます。
祖父側の立証が必要とのことですが、どのような証拠がひつようになってくるのでしょうか？言った言わないの話であれば単純に贈与されたと判断されるということなのですか？
遺族にはすべて話してあり、気にしなくていいと言ってくれています。
あちらの弁護士の方が判断能力が無かったので無効だと主張してくることもあるのでしょうか？
言った言わないの話で契約書等がないのであれば
相手方が負担付だと証明することは、一般的には難しいと思います。
ただ、娘や息子が面倒を見てくれないから、あなたに贈与した
ということは
あなたは面倒を見てくれると約束したからだ
というように相手は主張してくる可能性はあります。
祖父は、なぜあなたが面倒を見ないと言ったのに贈与してくれたのか
ということが問題となる可能性はあります。
祖父が認知症という診断を受ければ
贈与時に判断能力がなかったから無効だと主張してくる可能性はあります。
それが通るかは、医師の診断時期と診断内容によります。
高島先生
私には法律の知識がなくとても不安でしたが、少し気が楽になりました。
今日から眠れそうです。
今後どうなるかはわかりませんが、とにかく真実だけお話しし、真摯に対応していくことにします。
ありがとうございました。