既婚者と知らず交際、借りた物の返却方法は?

お付き合いしていた方が既婚者だとわかり、奥様に連絡先を消し今後一切連絡も取らないことと謝罪をして今はやり取りは終わっています。
ただ彼に借りている物が私の自宅にあるのですが、それをどうするか彼に確認しても大丈夫でしょうか?

LINEなどは全て削除しておりますが、電話番号は履歴に残っており何もされていなければ連絡はできるかと思います。

今後一切連絡を取らないことを約束されたのですから、ご質問者様側からのアプローチは避けるべきです。返してもらいたいのであれば、彼の方から連絡があるはずです。

ただ彼に借りている物が私の自宅にあるのですが、それをどうするか彼に確認しても大丈夫でしょうか?

かかわらない方が良いでしょう。
当面は自宅で保管をして様子を見ることです。
連絡があれば返せばよいでしょう。
このまま、何もない可能性も相当にあると思います。

相手の配偶者に、今後一切連絡を取らないということを約束しやり取りが終わっているのであれば、ご自身から連絡を取ることは避けた方が良いでしょう。新しいトラブルの要因となってしまう可能性が高いです。