勧誘電話に関するトラブルで訴えられる可能性がありますか?

訴えられるのではないか不安でご相談させていただきます
今年8月頃アンケートに答えたところ勧誘電話が来るようになりました。
その後10月頃にまた話すと約束をしてしまったらしく(覚えていなかったのですが)再度かかってきました。
その際断りきれず会う約束をしたのですが
怖くなり断りの連絡を入れたところ
「あなたに費やした時間(電話した時間や資料作成の時間等)が無駄になった。なぜ最初に断ってくれなかったのか?あなたがやっていることは営業妨害ですよ」と言う旨を言われてしまいました
その際「営業妨害でいいですね」と聞かれ咄嗟に「はい」と答えてしまいましたがその後すぐに修正しました。
結局相手の上司に変わり話はなかったことにはなりましたが、私は営業妨害となってしまうのでしょうか?もしも相手が電話を録音していた場合「はい」と答えたことも問題になりますでしょうか

ならないでしょう。録音に関しても、即座に訂正をしているのと、そもそも客観的に業務妨害に当たる行為でない以上、営業妨害となる可能性は低いでしょう。

早々にご回答頂きありがとうございます
不安になっておりましたが、お答え頂き少し気が楽になりました