賃貸契約について他人を呼ぶ行為

賃貸に住んでいるのですが、他人を泊まらせるのは契約違反だと思いますが、週半分ほど2、3時間ていど呼んで帰るのは違反には当たらないのでしょうか?

彼氏がいるのですが、大家が泊めていると思っておりますが、泊めてはおらず2時間ほどご飯して話して終わる程度です。

契約書を見てみないとわからないですが、一般的な契約書の条文では無断転貸(大家に無断で他人に又貸しをすること)を禁止することはあっても他人を呼び入れる行為そのものを禁止しているものは少ないと思います。
他人を呼び入れることで騒音等の被害が出ている、というのであれば別ですが、そうでないのであれば特に契約違反になる可能性は低いですので、管理会社などを通し、事情を一度説明した方がよいかと思います。