会いたくない人に必ず会わないといけないですか？
会社の元同僚の保証人になり謝礼金として10万円受け取ったが、私が引越しをし引っ越した事を伝えていなかったら彼の方から後日、保証人を辞退して欲しい謝礼金を現金書留で全額返せと要求されました。自分の非を認め謝礼金も全額返します。と話になったのですが、途中より相手方が勘違いだったこれからも保証人を継続して欲しい。となりお互い納得。ですが……それから相手方が私に好意を持つようになり、ハッキリとお断りしたら納得される素振りはするが｢何故会えないのか？｣を要求され見た目も怖い方でストーカーぽく感じ恐怖で会うのは無理です謝礼金も全額現金書留で送ったのにそれは無礼だ！受け取らない！直接会って渡せ！っと要求してきます。保証人も辞退した証拠を見た上で謝礼金も全額現金書留でお送りしました。
必ず本人に会って渡さないといけないのでしょうか？
そのうち職場や家に乗り込んで来そうで日々恐怖を感じています。
直接会う必要はありません。
さらに会おうとするのであれば警察に相談することをお勧めします（相手方に対し警告がなされる場合があるので）。
警察に相談したことを相手方に伝えて逆上しないでしょうか？職場や自宅を知ってる方なので不安です。
それでしたら、例えば、今後一切連絡はしてこないこと、連絡が続くようであれば警察や弁護士に相談せざるを得ないことを伝えるに留めるというのもアリかもしれませんね。
（警察に言われるくらいならやめると考えるかもしれませんし、いきなり警察に言うわけでもないので、逆上は抑えられる可能性があります）
必ず本人に会って渡さないといけないのでしょうか？
いいえ。警察に相談の上、「現在警察に相談中です。今後、直接会うことを強制したり、自宅近辺に来れば通報します」と回答しておけばよいでしょう。