工事着手金を取られて工事をしてもらえない

11/3に自宅フェンス取替工事の請負契約を¥50000で締結。その際、業者より前金が必要とのことで¥25000支払い、契約書を受領。
その後、色々言い訳をつけられ工事は未着工の状況。12/25に警察に行き、警察官立会のもと、電話で相手と話をし、12/29に私の銀行口座に返金することを約束させました。
12/29に仮に返金されなかった場合、どのような手続きをすれば良いでしょうか。

相手が工事に着手せず、返金にも応じない場合、詐欺には問えないのでしょうか。

任意に返金する意思がないということなので、支払督促を申し立てたり、裁判を提起してください。
それでも相手方が返金しないなら、財産を差し押さえてください。

支払い督促や少額訴訟、調停などがありますが、費用と手間を考えて、メリットがあるかは検討というところでしょう(弁護士に頼めばまずは費用の方が高くなりますから、ご自身でするしかないかと思いますが、仕事を休んだりなどを考えると・・・)
法律上は、もちろん、貴方の主張は認められるでしょうが。
慎重にご検討ください。