お客さんから預かったお金を持ち逃げされた場合、誰に支払い義務がありますか?

昨年、リフォーム関連の事業を行っている主人が知人より工事の注文を受けました。職人へ先払いと言う形で知人から預かったお金を渡したところ、その職人がリフォーム部分を解体したのみで施行完了前に行方をくらまし、今も連絡が取れない状態です。
知人からは、職人へお金を支払った主人に責任があるとしておよそ500万の返金を要求されています。コロナ禍で経済面も苦しく、当方からの支払いはかなり難しいです。最終家にも来られ、家や車、ペットに至るまで金目の物は全て持って帰ると脅されました。
なんとか、分割でコツコツ支払いますとの事で念書を書きその場は逃れましたが、このまま毎月ビクビクしながらしんどい思いをして支払いを続けるのが辛いです。
この件、本当に主人に支払いの義務があるのでしょうか。話し合いの中で先方には債務不履行で警察に行くとも言われました。
また、支払いの必要がない場合はどのように対処すれば良いのかご教授ください。

あなたの夫は、職人の使用者として、不法行為責任が問われますね。
支払い義務があります。
職人の横領について、被害届を出すことになります。

内藤様、ありがとうございます。
では、主人は知人への支払いを行いながら、横領に関しては警察へ被害届を出すということですね?
職人の所在が分からなかったり、職人に支払い能力がない場合は泣き寝入りということですよね。

警察は調査能力が高いですね。
泣き寝入りもありますね。

注文を受けた工事自体は完了していますでしょうか。
契約自体が解除等で終了しているのであれば返還義務がありますが(ただし、解体した既履行分についてはいずれにしても作業済みですので、交渉の余地があります。)、残額の補填をどうするかという問題はあるとしても当初の合意内容次第では工事を完了させれば良いということもありえます。
また、家の物を勝手に持っていくことは当然ながら犯罪ですし、先方の要求も場合によっては恐喝になり得ますので、対応次第では弁護士なり警察なり相談された方が良いかと思われます。

匿名A様、ありがとうございます。
作業は解体は済み、設備の設置を残しておりますが、メーカーに確認したところ職人から設備の発注すらされていない状態でした。
その時点で知人は業を煮やし、工事も別の業者に頼むとのことで当方とは実質契約解除となっています。
元々知人からの受注で、契約書も交わしていないようです。その知人は少し闇に近い貸金業をされているようで個人情報を紙面に残したくないようにも感じ取れます。
工事が滞ってしまったのは当方の監督不行届で生じてしまったので知人の怒りも理解はできます。が、少し取り立て方が荒いように感じましたので、次に恐怖を感じることがあれば警察にでも相談してみたいと思います。