不動産売買契約前の仲介キャンセルの法的問題は?

家を売ろうと思い不動産屋に仲介に入って貰った時の話です。
買い手が見つかり売買契約前にこちらからお断りしたら問題ありますか?
売買契約も結んでないので断るのは自由だと思うのですがいかがでしょうか?

不動産会社との間で締結する媒介契約(仲介契約)には、一般媒介契約、専任媒介契約、専属専任媒介契約の3種類があり、キャンセル時の違約金の取り扱いは契約の種類によって異なります。
一般媒介契約:
基本的に違約金は発生しません。
ただし、特別な広告や宣伝活動に費用が発生した場合など、契約書に特別な取り決めがある場合は、その実費の支払いを求められる可能性があります。
専任媒介契約・専属専任媒介契約:
契約期間中(最長3ヶ月)に売主都合で解除した場合、違約金が発生する可能性があります。
違約金は、不動産会社が売却活動のために投じた実費(広告費、人件費など)を請求されることが一般的です。
違約金の上限は、国土交通省の定める標準媒介契約約款により、仲介手数料の予定額(約定報酬額)に相当する金額と定められています。