Как происходит очищение памяти из под объектов Qt?

Достаточно указать родителем кнопки окно или другой объект, который наследник QObject и он удаляется когда нужно. Для контейнеров можно умные указатели применить.

Вот такой код вполне будет работать.

lastWindow = new QDialog();
textLayout = new QVBoxLayout(lastWindow);
textEdit = new QTextEdit(lastWindow);

Только не забудьте удалить верхний экземпляр класса

delete lastWindow;

Т.к. у textLayout и textEdit указан родителем lastWindow, то при его удалении будут удалены также и они. Кроме того не забудьте о присвоении layout при процедурном создании формы. Должно получится както так.

lastWindow = new QDialog();
textLayout = new QVBoxLayout(lastWindow);
lastWindow->setLayout(textLayout);
textEdit = new QTextEdit(lastWindow);
textLayout->addItem(textEdit);