Замена местами сгруппированных данных

Есть вот такой класс

public class User
{
   public string Name { get; set; }
   public OrgItem orgItem { get; set; }
}

Создаю и заполняю список данными

var newList = new List<User>();
newList.Add(new User { Name = "elv", orgItem = new OrgItem { Id = 1, Name = "test1" } });
newList.Add(new User { Name = "elv2", orgItem = new OrgItem { Id = 1, Name = "test1" } });
newList.Add(new User { Name = "elv3", orgItem = new OrgItem { Id = 1, Name = "test1" } });
newList.Add(new User { Name = "elv11", orgItem = new OrgItem { Id = 3, Name = "test3" } });

Далее , группирую список по orgItem

var model = newList.GroupBy(x => x.orgItem.Id);

В получившемся сгруппированном списке мне необходимо переместить elv3 в группировку с OrgItem Id=3 и при этом удалить из группировки с Id=1. Как это возможно сделать?

Заранее это сделать не возможно при получении данных, так как при любой замене данных, это всё меняется в БД, что отсекает такое решение.