不貞で使ったお金を返す必要はありますか?

不貞の証拠はありませんが問い詰められて認めてしまいました。念書も書かされています。
遠方の方だったので会ったのは2、3ヶ月に1回程度、1年半続いて現在は終わっています。終わった後に発覚しました。相手の方が来る時の飛行機は私のマイルで取って宿泊するホテル代も私が出しました。マイルは私が裏技を使って貯めたものでホテル代は私のパート代から出していました。
そして今主人からマイルは現金に換算して、ホテル代、自家用車も1日いくらとかで使った使用料、駐車場代や食事代などすべて調べてすべて家計に返せと毎週のように怒鳴られています。離婚するつもりですが主人が離婚はしないと言っていて有責配偶者からは離婚ができないようなのでとりあえず別居する予定です。不貞で使ったお金は家計に返さなければいけないのでしょうか??
弁護士さんに依頼したくても相手が離婚しないと言っているのでどうしたらいいものか悩んでいます。
結婚前に持っていた預金は全て生活費に使ってしまって、現在通帳など財産を全て隠されていて生活費ももらっていないので婚姻費用の調停は申し仕立てているところなので返そうにもお金がなくどうしようもない状況です。よろしくお願い致します。

不倫交際費が、共有資産から支出されたもので、浪費に当たる場合は、
財産分与の際に、差し引かれることはあります。
分与のときに清算すればいいでしょう。

早々にご回答ありがとうございます。離婚の時に慰謝料か財産分与で請求してくださいと伝えてるんですが「離婚する気はない。返せ!」の一点張りでどうしていいのかという感じです。。

別居できるようなので、まずは、別居を先行するといいでしょう。
不倫に至った理由もあるでしょうから、反論の準備もまとめておく
といいでしょうね。
合わせて自立の準備ですね。
就労です。
ハローワークに相談に行ってもいいですね。

問題となっている旅費については、結論としてこちらが負担しなければならないとなる場合であっても、今すぐ支払わなければ差押えをされる、と言うほど緊急性のある話ではありません。離婚の話をする中で、財産分与や慰謝料との調整という形で決着を付ける事になろうかと思います。
まずは当面の生活を確保することが重要です。婚姻費用の調停もしくは審判が成立して生活費を確保できるようになるまでの当座の資金を確保することが第一です。
同時に、離婚と婚姻費用について、早期に弁護士に依頼された方がよいと思われます。直接やり取りをして話が進む相手とも思えないからです。

ありがとうございます。まずは別居をして、現在お客様がいる仕事にも影響が出るような営業妨害もされているのでその辺もこまめにメモしておくようにします。本当にありがとうございました!

ありがとうございます。本当に直接やり取りをしても全く話がすすみません。婚姻費用調停の申し立ては既にしているので調停が始まったら仮処分をお願いしてみようと思います。こちらとしても慰謝料や財産分与で決着して欲しいのですが離婚はしないから慰謝料はまだ請求しない。他にも請求するものがあると言っていて調査会社に支払った200万も請求してくるつもりのようです。別居して全て離婚の時に請求してくださいといい続けようと思います。