もう済んだ事を蒸し返すのを辞めさせたいのですが、どうしたら宜しいでしょうか?

以前にW不倫で相手の旦那にバレ、こちらの嫁にも事情話して
最終的にお互いゼロ合意で終結。四者の署名捺印された合意書も作成しました。

しかし合意して何事もなく4か月程過ぎたところで
相手の旦那から「合意を白紙にしたい、合意書を渡せ、家に行く」というような連絡がきました。

合意した内容が以下の通りです。↓
(甲は自分、乙はこちらの嫁、丙は相手旦那、丁は相手嫁)
1 甲と丁は、互いに相手方が既婚者であることを知りながら、不貞行為を行ったことを認め、甲は丙に、丁は乙に、真摯に謝罪の意を表する。

2(迷惑行為の禁止)甲乙及び丙丁は、相手方を訪問すること、当事者のいずれかを誹謗中傷すること、名誉を害すること、その他相手方及びその家族に不利益となる一切の行為を行ってはならない。

3 乙及び丙は、第1条記載の不貞行為に関し、本合意書をもって一切の解決を図るものとし、乙は丁に、丙は甲に対して今後慰謝料請求権を行使しない。

4 甲及び丁は、互いに、不貞行為の損害賠償債務について、相手方に対して求償権を行使しない。

5(清算条項)甲乙及び丙丁は、本示談書に定める他、甲乙丙丁間に何ら債権・債務のないことを互いに確認した。
以上のとおりの合意が成立したことを証するため、本合意書を2部作成の上、各自署名押印し、甲・乙において1部、丙・丁において1部を保管する。

>しかし合意して何事もなく4か月程過ぎたところで
相手の旦那から「合意を白紙にしたい、合意書を渡せ、家に行く」というような連絡がきました。

相手の要求に応じる義務はありません。
ご自身での対応が難しいということであれば,弁護士にご依頼のうえ対応されることをお勧めいたします。

相手の旦那から「合意を白紙にしたい、合意書を渡せ、家に行く」というような連絡がきました。

相手にしなければよいと思います。

仮に家に来ても対応する必要はありません。
それで、家の前に居座ったり、大声を出されるようであれば、警察への通報も考えられますね。