奥さんからの誹謗中傷、嫌がらせが続いている会おうと誘われている

元々お店の客と従業員という関係で知り合い、彼の方から好意を向けられるようになり、「真剣に私との将来を考えている」といった発言も増え、私も気持ちが揺れるようになりました。
しかし、後日彼から結婚していることを聞き、でも私と一緒になりたいから離婚すると、何度か離婚して欲しいと言ったみたいです。(私は一切急かしていません)
「絶対迎えに行くから待ってて欲しい」そこから2ヶ月くらいたち、私も気持ちが大きくなり本当に待ってていいのか怖くなったので、本当に覚悟があるのか改めて聞いたところ、彼が意見をまとめてお話したいとの事なので2日前話し合いました。
「奥さんと離婚できない。」との事なのに私を前にすると「でもやっぱり(私)と一緒にいたい」とどっちつかずなことを言い出し腹が立ったので「会うか会わんかはっきりして」と問い、「もう会えない」となりました。
解散する時もずっと彼は泣きながら「(私)がいない人生なんも楽しくない」「絶対後悔する」とか言ってて腹が立ちましたが、私は明るく最後解散しました。
なのに次の日の朝、奥さんから「あなたを訴えます。証拠もあります。」と送られ、話し合いの後彼が何かを言ったのか、携帯を探られたのか、その後お店の私のXのdmに、心をすり減らされるような誹謗中傷嫌がらせのようなメッセージが止まりません。
ちなみに彼と会う時間は全て金銭が発生しており、店外の時間でもお店と同じ金額設定でもらっており「(私)の時間はお金で買っている」と言った状態でした。
「実際に会ってお話をしましょう」と来るのですが、私はどうしたらいいか分かりません。
このまま感情任せに送ってきてるdmを無視しててもいいのでしょうか。

相手妻から【「あなたを訴えます。証拠もあります。」】と言われているということなので、相手妻から不貞慰謝料請求の通知書等が届くのを待ち、その内容を踏まえて貴方のほうで対応を検討するということになるでしょう。【「実際に会ってお話をしましょう」】という提案に従うのは得策ではなく、トラブルのもとになりかねないので、やめておいた方がよいでしょう。

実際に会うことについては、あまり推奨はいたしかねるところです。
その場で、高額な慰謝料を支払うという書面にサインをさせられるなど、ご相談者様にとって不利な状況になる可能性やトラブルが生じてしまう可能性があるため、弁護士を介入して話合いを行うという対応がよいと考えられます。
また、今後の相手の妻からの要求が認められるかどうかも、男性との関わり方などの事実関係に判断されることになりますので、弁護士の意見を聞くことも有用と思われます。

DMについては、無視し続けても法的に請求されるようなことはありませんので、一旦無視しても差し支えないと考えられます。

今後の対応方針や相手方からの請求の当否などの確認のために、一度弁護士ご相談いただくのがよいと存じます。