クライアントからの一方的な契約解除の主張について

クライアント(男性)からの飲みの誘いのメールに返信しなかったことが発端となり「契約をなかったことにしたい」と言われました。

これまでに2回打ち合わせをして具体的な納期や報酬についてクライアントから伝えられています。私もその内容で承諾し、クライアントが契約書を作ると言っていました。

そのため私としては契約は成立していると思っており、解除の理由について聞いたのですが、「口約束だから無効」「クーリングオフが適用できる」と言われました。

この場合契約があったことを立証するのは難しいでしょうか?また脅迫にはならないのでしょうか?

「契約はなかったことにしてください」ということは、契約があったことを認めてると捉えることはできないのでしょうか。

「私もその内容で承諾し、クライアントが契約書を作ると言っていました。」
正式な契約はまだ行われていない(検討を始める合意があった程度)と認定される可能性が高いですね。
ただ、なかったことによる理由が不当なので、不法行為などで争う余地はあるかもしれません。
いずれにしても交渉での解決はできず、訴訟での解決になると思います。