Как в winapi убрать кнопки "справка" и "файл"?

Для начала, как я вам уже говорил, это не кнопки у окна, а меню, вы его убрали, теперь что бы убрать рамку у окна, убираем стили у окна после его создания:

// Код который создает окно
::DWORD styles = ::GetWindowLongW(hwnd, GWL_STYLE);
styles &= ~(WS_CAPTION | WS_THICKFRAME | WS_MINIMIZEBOX | WS_MAXIMIZEBOX | WS_SYSMENU);
styles = ::SetWindowLongW(hwnd, GWL_STYLE, styles);
// Здесь уже начинаем обрабатывать оконные сообщения

Получаем окно без рамки:

P.S. Если вы не смотрели на значение макроса WS_OVERLAPPED оно равно 0x00000000L, что аналогично NULL.

WS_OVERLAPPED == WS_TILED : Окно является перекрывающимся окном. Перекрывающее окно имеет строку заголовка и границу. То же, что и стиль WS_OVERLAPPED.