返品時に消費済み商品の交換義務と法的責任について

米の販売をしているのですが、届けた米を食べた所違うの銘柄の気がすると問い合わせを受けました。
基本的に取り違えなどはありませんが、交換を希望されているので念の為の調査のため交換をご案内しました。
するとお届けした袋のうち片方はもう既に4割を食べてしまったと言われました。
聞くところによると、味が違うと感じたあとも食べ続けていたとのことです。
そこで、そこまで減っていると交換はできない、残りのひと袋のみ交換できますとご案内したのですが、ご納得いただけません。
片方の袋が正しい銘柄だったとしても、開封済みの方がそうとは限らないため食品表示法違反に当たるのでは無いか、交換しないというのは契約不適合責任になるのでは、とのことですが、そうなのでしょうか?
交換、という言葉通り、交換するべき元のものが著しく減っている場合は成立しないのではないでしょうか。
それともそういった場合にも法律違反になるんでしょうか?

購入者がいかなる根拠で契約の取消を求めているのか分からないですが、
契約が取り消された場合、互いに原状に回復すべき義務を負います(民法121条の2第1項)。

こちらは契約が取り消されれば、代金を返す義務がありますが、
相手も、商品を元の状態に戻して返還すべき義務があります。
開封しているのであれば、損害を賠償して元の状態の対価相当額を支払う必要が出てきます。

なお、契約不適合の立証責任は主張する消費者側にあります。
以上より、現状は、①未開封品のみ返金・交換対応をして、②開封済みのものはいずれにしても商品代の弁償が必要となるというような対応が一案として考えられます。

※なお、消費者側が、消費者契約法上の取消権などを主張する場合は、民法に定められるこの原状回復義務については特則が定められており、
現存利益の返還で足りることになります。
その場合、開封済みのものでもそれの返還を受けることで返金に応じなければならないことになります。

民法
(取消しの効果)
第百二十一条 取り消された行為は、初めから無効であったものとみなす。
(原状回復の義務)
第百二十一条の二 無効な行為に基づく債務の履行として給付を受けた者は、相手方を原状に復させる義務を負う。

消費者契約法
(取消権を行使した消費者の返還義務)
第六条の二 民法第百二十一条の二第一項の規定にかかわらず、消費者契約に基づく債務の履行として給付を受けた消費者は、第四条第一項から第四項までの規定により当該消費者契約の申込み又はその承諾の意思表示を取り消した場合において、給付を受けた当時その意思表示が取り消すことができるものであることを知らなかったときは、当該消費者契約によって現に利益を受けている限度において、返還の義務を負う。