EF lazy loading

Столкнулся с такой проблемой. Стоит lazy loading в конструкторе контекста (db first) Когда вытаскиваю запись с базы то вместе с ней приходят все navigation properties которые связаны с этой записью. Вроде как должно работать только в случае если я к этим с свойствам обращаюсь, то тогда подгружать.

Пример: context.Users.Where(bla bla).FirstOrDefault();

Users.Groups =>> и тут уже подружены данные

Спасибо за внимание