肉体関係後のトラブルについての相談。暴言について訴えると言われました。

1年半ほど前にマッチングアプリで知り合った男性と肉体関係を持ってしまいました。私は彼に好意があり交際したいと思っていたので身体を許しました。が、彼は「付き合えない」「身体の相性が自分にとってはとても重要なことだから付き合う前に何度もしたい」「避妊具を着けると気持ちが萎えるからしたくない」と言ってきました。わたしも気が弱く彼に嫌われたくなかったのでピルを服用し始め彼との関係を続けました。
が、彼の性格(わたしのやることなすこと否定してくる、卑屈、自分に都合が悪いことを言われるとわたしを責めてくる)に嫌気が差し、我慢の限界に来てしまうことがあると彼にLINEで「あなたはおかしい」「病院へ行った方が良い」「そのままでは周りから人がいなくなる」「今後付き合う女性が可哀想だ」など彼を否定することや暴言を送ってしまうことが何度かありました。
そうすると彼から「そろそろ訴える。誹謗中傷だ。開示請求から始める」と言われました。
わたしは訴えられてしまうのでしょうか?

わたしは彼の住所を知っていますが、彼はわたしの住所を知りません。職場の最寄り駅は話したことがあるので知ってると思います。
本名はお互い知っています。

彼はフリーランスで個人事業主なので法律に詳しい知人がいたりするのかもしれません。
また、彼には鬱病の既往があるようなのですが薬を飲むと眠くなったりぼーっとして嫌だから病院に行くのをやめたと言っていたのでまだ鬱病や精神疾患があるのかもしれません。詳しくは知りませんが彼の性格を別の知人に相談したところ「境界性パーソナリティ障害では?」と言われ調べたら彼の性格に当てはまるものばかりでした。
そういった精神疾患があるかもしれない人なので本当に訴えたり、何かとんでもない行動をしてくるのではないかと不安です。

今まで口論になった時に「わたしにも悪い所があったが、あなたのこういう所に傷ついた」や「人にはそれぞれ考え方に違いがあるのは当たり前だが、他人の考えや人生を蔑ろにしてまで押し通すものではないと思う」と問い続けてきましたが、
彼は「自分も悪かったが」など自分の非を認める発言を一切せず、「それはあなたの価値観に過ぎない。」「価値観の擦り合わせには興味が無い」「僕をバカにしている」と言われました。

「勝手に無いことを妄想して決めつけている」と何度も言われましたが、たしかに想像で補完したところもあったのでそれについては謝罪し、でも火のないところに煙は立たないと言うように彼の言動で不安になる所や疑ってしまう所があったのでそういったことも説明しましたがそれについては何も反応がなく、とにかくわたしに「謝罪しろ」「誠意を持て」ばかりでした。なので彼に何を言っても伝わらないと思います。
出来れば円満に関係を絶ちたかったですが難しそうです。
訴えられることは避けたいです。

訴えるとは、
民事では損害賠償請求
刑事では刑事告訴または被害届提出
だと考えられます。
一般的には当事者同士のやりとりである場合、訴えるのには難易度が高い事案(訴えることが難しい事案)のように考えられます。
というのは、民事では不法行為に基づく損害賠償請求をする場合には、何が損害かの立証責任を主張する側が負います。
また、刑事では名誉毀損か侮辱になりえますが、警察は多くの場合、原則民事不介入を主張し、捜査をするのは例外的となります。
したがって、一般的に当事者同士の言葉のやり取りというもので訴えられる確率は低いと考えられます。

参考になれば幸いです。