ここで相談するのが正しいか分かりません…

元カレにお金を返せと言われています
LINEでは私が返すと言った
何度か直接、返さなくてもいいと言われた
返さなくていいものと思っていました
また、以前一緒に住んでいたときの家の家賃を払ってもらっていました
そして昨日別れようと言ったら今までのお金を返してくれと言われました

2カ月ほど遠距離でほとんど話していませんでした

彼はADHDです

怒ったりするとすぐ命令口調になったり荒々しくなるのがストレスで、私はもう文章でも彼と話したくありません

どうしたらいいでしょうか?

メールで法的措置をとりますと言われました
返信はしていません
貰ったと思っていたお金は12万〜20万ほどだったかと思います

無視するか、または弁護士に依頼して交渉することになります。
相手方が持っている証拠の内容次第では、いくらか支払う必要があるかもしれません。
ご不安であれば、弁護士にご相談されることをお勧めいたします。