被害届を提出したいが警察にあなたも被害届をだし返されるかもしれないといわれました。

被害届をだそうとしたら警察に、被害届をだしかえされる可能性があると言われました。そんなこと言われたらだせなくてこまっています。

事件の詳細は不明ですが、被害届を出されるのが嫌なのであれば、被害届を出すのをやめるという判断になるのではないでしょうか。
相手が被害届を出すことをやめるよう強制することはできません。