副業詐欺でキャンセル料を請求されたが、支払い義務はあるか?

副業詐欺だと思い、キャンセルしたいと伝えました。そしたらキャンセル料5000円払うように言われ断ったら同意してるから払う義務があると言われました。
しかし払わないと伝えたら少額債権回収手伝いすると言われました。
払わなくてはいけないのでしょうか?

キャンセル料を会社等ではなく個人名義の口座に振り込むよう指示されました。
相手はこちらの電話番号や住所を知っているので怖い気持ちがあります。

細かい具体的事情が不明ですので、あくまで一般論ですが、詐欺や債務不履行等があるのであればキャンセル料の支払い等は必要ないでしょう。