不貞の証拠不十分で訴えられたら逆に訴え返せますか?

不倫相手の旦那が弁護士を立てているとの事で相談させてください。
先日、不倫相手の女性の行動が怪しいとの事で問い詰められ旦那さんに関係を話したとの事。
自営業の女性なのでそのお店やホテルで行為をした事、ジムやランチなど一緒にした事などを話したそうです。
そしてお店にお客として伺った時に旦那さんが現れて話し合いになり不貞行為があっただろうと詰め寄られましたが私は一切認めず、証拠を揃えて証明してくださいと話しました。
その後、相手の女性から旦那には私と連絡を取るなと言われているとの報告があり細かくは聞けませんが、自白した時は録音もされていないし書面にも残していないとのこと。
何も証拠らしい証拠は無いとの事でした。
しかし旦那は感情に任せて弁護士に依頼し入金も済ませたそうです。
請求されるにしても証拠不十分での話し合いによる金銭賠償程度なのかと思ってはいますが、逆に私が名誉毀損などで逆に弁護士に依頼することは可能なのでしょうか?

請求されるにしても証拠不十分での話し合いによる金銭賠償程度なのかと思ってはいますが、逆に私が名誉毀損などで逆に弁護士に依頼することは可能なのでしょうか?
→不貞が事実無根であれば検討の余地はありますが、不貞関係が事実なのでしたら請求されても何ら違法なことではありませんので、単に証拠不十分であることを奇貨として逆に請求するなどすること自体難しいと思われます。