Удаление строк в datagridview выделением сверху вниз и наоборот

Сегодня во время работы с DataGridView,заметил странную особенность. Стояла задача удаления огромного количества строк(Почти 20000) вместе,получив индексы

List<int> Indexes = DataGridView.SelectedRows.Cast<DataGridViewRow>().Select(z=>z.Index).OrderByDescending(g => g)ToList();

Далее обычное удаление

foreach(int i in Indexes)
{
DataGridView.Rows.RemoveAt(i);
}

А теперь суть проблемы: Если выделяю строки сверху вниз то удаление занимает около секунды,но если я выделаю строки снизу вверх и начинаю их удалять то операция занимает ~3 секунды. Возможно кто то уже встречался с подобной проблемой и нашел ее решение.