GridLayout Программное размещение фрагментов

Теория:

Пример того что вы привели возможно реализовать с помощью RecyclerView, также посмотрите RecyclerView GridLayoutManager.

Вот хороший ответ на ваш вопрос, так же подробный Гайд как это сделать просто и быстро stackoverflow.com - ссылка на ответ.

Update:

Вам необходимо удалять данные из вашей коллекции, после чего уведомлять ваш адаптер об изменениях. Вам нужно реализовать метод deleteItem в Adapter(e), после чего можете использовать его в вашем Activity/Fragment(e)

void deleteItem(int index) {
    mDataset.remove(index);
    notifyItemRemoved(index);
}

Нашел решение, удалять фрагменты надо было не setVisibility(View.GONE), а gridLayout.removeView, тогда все фрашменты перемещаются к левому верхнему углу