文化財の写真データの著作権

趣味と少し商業カメラをしています。
観光に行き、観光地の写真(人は写っておらず、建物のみ)を撮ってネット上にアップしていました。
画像には文化財の外観(仮に清水寺)が写っていて、それを購入もできるサイトにアップしていたところ売れました。
こちらに対し、著作権は文化財管理者にあり、外観でも写っていたものを売ることは法律違反。との指摘が来てしまったのですが、
こちらはどの法律に触れてしまったのでしょうか?

すぐに画像削除、購入者にも返金致しました。

無知が故のことで申し訳ございませんが、ご教授お願いします。

今回の問題については、専門家によっても結論が分かれるところです。
少し、細かい法律の話をさせていただきます。

観光地の建物(建築の著作物)を写真で撮影した場合ですが、著作権法46条に次の規定があります。
第四十六条 美術の著作物でその原作品が前条第二項に規定する屋外の場所に恒常的に設置されているもの又は建築の著作物は、次に掲げる場合を除き、いずれの方法によるかを問わず、利用することができる。
一 彫刻を増製し、又はその増製物の譲渡により公衆に提供する場合
二 建築の著作物を建築により複製し、又はその複製物の譲渡により公衆に提供する場合
三 前条第二項に規定する屋外の場所に恒常的に設置するために複製する場合
四 専ら美術の著作物の複製物の販売を目的として複製し、又はその複製物を販売する場合

つまり、46条の各号に当たらなければ自由に利用することができます。ここで、問題なのは4号です。
4号は「専ら美術の著作物の・・・」とありますので、建築の著作物は関係ないようにも読めますが、
建築の著作物であり、かつ、美術の著作物とも評価できる場合には、この条文に該当しうるという
学者の見解があります。他方で、『著作権法コンメンタール<改訂版>Ⅱ』269頁には、建築の著作物
については適用されないと書かれています。
この条文をどのように解釈するかによって結論が分かれるということです。

非常に微妙なケースです。

著作権法第46条によれば、屋外の場所に恒常的に設置されている美術の著作物又は建築の著作物を写真撮影することは著作権侵害にはなりません。美術の著作物の場合、販売目的で写真撮影をしたり、その写真を販売したりすると著作権侵害となります。
ただし、文化財は著作権の存続期間が満了し、パブリックドメインとして誰もが自由に使用できるようになっているケースも散見されます。

撮影された文化財が何か等具体的に検討しなければご案内は難しいですが、著作権侵害だとする相手方の主張は、そもそも間違っている(法廷で争った場合には認められない)可能性もあります。
疑似著作権等として議論がある部分ですので、インターネット検索などで併せてご確認いただければと存じます。