不倫関係の人の妻からの催促

3年くらい前にサイトで知り合った方といい関係になり、借金返済等を手伝うようなことを言われていました。会う度に条件がありその条件をきくとお金を頂く形でした。
その相手も自分も既婚です。お互いバレないようにしていましたが、相手の奥様にバレてしまい、奥様から返済の催促が来ています。
払わないと私の旦那に言う、家に来るといいます。
払う義務はありますか?それと私もバレたくないので怖くて先月4万振り込めと言われて4万振込はしました。

どうしたらいいでしょう?

体の関係がありその都度工面してもらう感じでした。

「返済」の義務があるかにつき、具体的にどのような約束の下でお金を受け取っていたかによりますが、法的にそのような義務がない可能性があります。
ただ、相手の奥様に不倫の件についても知られているならば、そちらの件での慰謝料請求をされる可能性があります。

いずれにしろ、最終的にこちらの非を認めていくらかの金銭を相手の奥様に支払うにせよ、合意書等で明確に総支払額を確定させないままにずるずるとお金を払い続けることは、次々と様々な名目でお金を支払わせ続けられることになる可能性も高く、解決には結びつかない可能性が高いです。
早急に弁護士事務所に相談されることをお勧めいたします。