Существует ли процесс (C++)

Ну, раз правильно понял :), то что-то вроде (не компилировал - это набросок для понимания) вызова

EnumWindows(CheckProg,LPARAM(searched_title));

searched_title - искомое название окна, а CheckProg - функция обратного вызова вроде

BOOL CALLBACK CheckProg(HWND hwnd, LPARAM lParam)
{
    char * searched_title = (char*)lParam;
    char txt[256];
    // Можно проверить на видимость окна, например...
    ULONG style = GetWindowLong(hwnd,GWL_STYLE);
    if (style & WS_VISIBLE == 0) return TRUE;
    // Получаем строку заголовка
    if (GetWindowText(hwnd,txt,256))
    {
        // Совпадение. Выполняем, что надо
        ....
        return FALSE;  // Все, дальшейшее перечисление в EnumWindows не нужно
    }
    return TRUE;  // Чтоб EnumWindows работал дальше
}

Примерно так...

Update

Вот код, перечисляющий все - видимые, невидимые - окна. Компилировал VC++2017 без замечаний. Работает. Скорее всего у вас проблемы или в неверном названии окна, или в использовании Unicode (если работаете с ним).

См. также http://rextester.com/IGMOUX1928

#include <iostream>
#include <iomanip>
#include <windows.h>
#pragma comment(lib,"user32")
using namespace std;
BOOL CALLBACK CheckProg(HWND hwnd, LPARAM lParam)
{
    char * searched_title = (char*)lParam;
    char txt[256];
    if (GetWindowText(hwnd,txt,256))
    {
        cout << "Found title [" << txt << "]\n";
    }
    return TRUE;
}
int main(int argc, const char * argv[])
{
    EnumWindows(CheckProg,LPARAM("test.exe"));
}