Пишу программу на Qt, не работает QGridLayout

Несколько моментов, которые, по моему мнению, следует исправить:

1. При создании виджетов вы не указываете родителей этих виджетов.

tabWidget = new QTabWidget();
generalTab = new QTableWidget();
securityTab = new QTableWidget();
...

Из-за отсутствия родительских элементов могут возникать различные ошибки (например, утечки памяти или некорректное отображение на форме). Поэтому родительские элементы лучше все таки задавать, причем задавать так, чтобы соблюдать семантику их вложенности.

2. При создании кнопки Вы создаёте отдельный виджет для неё.

okButtonWidget = new QWidget();
okButton = new QPushButton(okButtonWidget);

Этот виджет избыточен, т.к. кнопка сама по себе уже есть виджет.. Как по мне, лишнее место, где можно запутаться.

3. Вы создаете отдельный "родительский" виджет mainWidget.

mainWidget = new QWidget(this);

Этот виджет избыточен, т.к. при создании проекта по умолчанию создается ui->centralWidget, исключающий меню, тулбар и статусбар. Для распределения элементов в layout лучше использовать его (или иметь еще одно место потенциальной путанницы).

В итоге получаем более упрощенный код:

MainWindow::MainWindow(QWidget *parent) :
    QMainWindow(parent),
    ui(new Ui::MainWindow),
    tabWidget(new QTabWidget(this)),
    generalTab(new QTableWidget(tabWidget)),
    securityTab(new QTableWidget(tabWidget)),
    okButton(new QPushButton(this))
{
    ui->setupUi(this);
    tabWidget->addTab(generalTab, "General");
    tabWidget->addTab(securityTab, "Security");
    okButton->setText(tr("OK"));
    // указатель на layout можно не хранить, поэтому создаем его локально
    QGridLayout *mainLayout = new QGridLayout();
    mainLayout->addWidget(tabWidget, 0, 0);
    mainLayout->addWidget(okButton, 1, 0);
    ui->centralWidget->setLayout(mainLayout);
}

Получаем такое окно:

P.S. В конструкторе класса я выделил создание объектов в список инициализации, т.к. считаю, что такой подход более удобен для чтения кода (создание объектов в одном, логичном для этого месте).

Зачем вы создаете mainWidget?

У вас текущий виджет ProcInfo уже имеет возможность размещать в себе виджеты и поддерживает компоновщики (layouts)

Уберите mainWindow и просто используйте:

setLayout(mainLayout);

Тогда компоновщик с таблицей и кнопкой разместятся на диалоге.

PS. в текущем виде проще использовать QVBoxLayout