不倫で示談に。示談書項目に不自然な箇所が多々ある

私は独身男性で不倫をしてしまい、相手の旦那さんに示談金を支払い、示談をしました。
相手は配偶者(不倫相手)に内緒で慰謝料請求をしていて、二人で話をつけたのですが、よくよく考えると相手が本当に不倫相手の旦那さんなのか確証がありません。
そこで相手が本当に不倫相手の旦那であることを確認する方法に関しての質問です。

・示談書には、相手夫妻の連絡先を削除する(違反時100万円)という項目あり
→連絡先はずべて削除済み、示談書にも相手は住所を記載しなかったため、直接連絡が取れない。
 取れたとしても証明を拒否される可能性大。(本人確認で氏名と住所はその場では確認済みだが、暗記まで
 はできず。)

・唯一わかっている連絡先は不倫相手の勤務先
・示談書には、不倫相手と浮気相手との連絡を一切しない(違反時300万円)という項目あり

私的なコンタクトではなくてこのような重要な確認のために仕方なくだとしても、この状況で不倫相手の勤務先に電話をして、不倫相手に確認を取ることは問題ありますでしょうか?
もちろん不倫の件は勤務先にはバレないようにします。
また、他に方法がございましたらご教示ください。

相手が配偶者に内諸での請求と言うのもおかしいですね。
あなたが示談書に相手の名前、住所、連絡先を書かせ
ないのもおかしいですね。
書かずとも、知らないのはおかしいです。
本人確認をしないのもおかしいです。
されど、あなたの過失はさておいて、本人確認するために
例外的に不倫相手に連絡をするのは、条項違反にならない
でしょう。
しかし、そのことを知った相手方から請求が来る可能性は
あるが、示談書記載の趣旨には反しないということになるで
しょう。
争いがひとつ増えるかもしれませんね。