現在の転職先が競業避止義務に抵触するかどうかについて教えてください

同業他社へ2年間転職禁止という紙を入社時に書きました。
現在建設業界の人材派遣会社(正社員として雇用)で働いています。次の転職先は人材業界の人材派遣会社になります。
業種は内勤のままですが、仕事内容は変わります。
こちらに関しまして、競業避止義務で損害賠償請求等されるのかどうかを教えていただきたいです。

元の会社が不利益を受ける可能性はありますかね。
取り扱い分野を異にし、実質的に見て競業せず、不利益を与える恐れ
がないなら、問題ないでしょう。