どこから名誉毀損として訴えられますか?

接客業で働いているのですがよく来るお客様の中にお喋りが好きな方がいらっしゃるのですがその方と仕事以外の時に出会うことが最近多く話しかけられる事が多くなったのですが少し執拗に絡んでこられるのでふざけた口調で警察呼びますよ笑と2度くらい?言ったのですがこちらの言葉が気に触ったようで怒って帰られた後に電話で名誉毀損で訴えるぞ?と言うよな話を上司にされました。
この場合名誉毀損として私は訴えられるのでしょうか?
また上司とは穏便に済まそうと言う話なのですが謝る際に私の非を認めるような発言をした場合にそれを録音などして自白証拠として訴えられる可能性はあるでしょうか?

名誉棄損には該当しないでしょうし、警察が動くこともまずないでしょう。

ただ、あなたの非を明確に認めると、慰謝料や示談金を支払うようにしつこくつきまとわられる可能性はありますので、注意した方がいいでしょう。