全額払わないといけないのでしょうか。

昨日不倫相手と口論になり私が腹を立てて嫌がらせで不倫相手の財布から10万円取りました。それが不倫相手にバレ
「お金がなくなったので警察に指紋を採取しにいきます指紋の協力をお願いします。」
とメールが来たので私が
「ごめんなさい別れたくて嫌がらせで取りました。返金したいので口座教えて下さい。それと別れて下さい。」と返信しました。
すると相手から「前からちょくちょくやってるの分かってる。取られた金額大体把握してるから全額返してくれたら警察にはいいません。」と返信がありましたが、今回の1件だけで私には身に覚えがありません。
この場合今回のは必ず 返金しますが私は身に覚えがないお金も返金しなくてはいけないのでしょうか、逮捕されてしまうのでしょうか。

10万円以外は身に覚えがないのであれば、10万円以上返す義務はないですし、返さないからといって警察に逮捕されることもないと思います。