詐欺師だ騒ぐ相手に、お金を返す方法。

詐欺師だ騒ぐ相手に、安全に確実に、お金を返す方法を教えてください。

先日、私(女性)が取引先で仕事中に、突然、取引先に不審者が来ました。
不審者は、鼻息を荒立てて様子がおかしく、
私の取引先相手に「Bさん(私)からお金をとられた。詐欺師だ。」と騒ぎたてたようです。
不審者が私に会う前に、取引先が不審者を追い返したので、私は直接不審者に会っていません。
取引先が私に説明した不審者の特徴と、私の心当たり的に、その不審者はAさんだと考えています。

Aさん(男性)
・2年前に、Aさん個人から、ある処置を私に依頼した。
・2年前に、私はAさんから依頼料を受け取っている。
・領収書はない。
・その処置の期限は決めていない。
・現状、私はその処置をできていない。
・Aさん都合により、私の意志に関係なく、私がその処置をできない状態が、1年半以上続いている。
・Aさん都合により、Aさんから私に連絡を取れるが、私からAさんに連絡をとれない。
・私は、Aさんの身分証の写真を持っているので、顔住所本名がわかる。
・Aさんは、私の一部に仕事に対して、場所日時が把握できる状況。

取引先が、取引先の不法侵入や業務威力妨害で、不審者相手に被害届を出したり、
私が、取引先に詐欺師だと言われたことによる名誉棄損で、不審者相手に被害届を出したり、
そういったことはできると思います。

私としては、ただ、Aさんに依頼料を返し、そして、会いに来ないようにしたいです。
しかし、取引先でのAさんの様子から、私一人でAさんの身分証の住所まで会いに行くと、Aさんから危害を加えられそうで怖いです。
どういった方法が、安全で確実でしょうか?

公開相談の場のため、
どうしても抽象的なお話にならざるを得なかったのだと思います。
ただ、解決策を検討するためには、本件は具体的な事情をお伺いする必要があると考えます。
個別にご相談をご検討なさってみてください。