В чем разница типов BOOL и bool?

BOOL - это WinAPI тип, точнее, синоним, заданный через typedef для целого:

typedef int BOOL;

Такой синоним был заведён по причине того, что WinAPI базируется на языке C, где булевского типа нет, но отражать смысл параметра или возвращаемого значения функции хотелось бы именно как булев тип. Тем не менее из-за простого использования синонима в переменную типа BOOL можно записать любое значение, подходящее для типа int.

bool - это стандартный базовый тип в языке C++ для задания булева значения. В отличие от винапишного BOOL, может содержать только два возможных варианта: true или false.

В современном C (C11) тем не менее имеется встроенный булев тип _Bool, но если хочется использовать написание как в C++, нужно включить заголовочный файл <stdbool.h>.