借りたお金について。

借用書を書いて25万借りて毎月2万ずつ返済していく約束になって
数ヶ月は振り込めてましたが期日が過ぎてしまったり待たせてしまったりで相手方に迷惑をかけてしまって
詐欺師と言われるようになりました。

毎月2万だったのを残り一括で返せと言われて
これとは別に12万円を相手から返さなくていいよと言われて受け取ったことがありまして
それの借用書はありませんがそれも返せと言われるようになりました。
理由は、元々付き合っていて関係が無くなったんだから返すのが当たり前と言われました。
受け取った時に関係がなくなったら返せなどは一言も言われてません。

12月30日までに25万の残ってる分払うと言うしかなくそのようにお相手に伝えましたが2万しか振り込めなくて詐欺師だから警察に行くなど今言われていて
このような場合どうすればいいのでしょうか?

詐欺にならないので、警察には行かないし、行っても相手にされない。
12万円は、返す義務はないですが、返すと言ったなら、返すことになるでしょう。
今後少しづつ返せばいいでしょう。

12万円はもう相手に返さないと警察や弁護士に行くなど散々なことを言われて返すと返事せざる追えない状況になってしまいました。

2ヶ月前から調査依頼してて今月結果でるから諦めて早く一括で返せなども言われてます

弁護士相談をするといいでしょう。
くわしい経緯を聞く必要があるでしょうから。