Как узнать состояние мьютекса?

Чтобы узнать заблокирован мьютекс или нет, нужно попытаться его заблокировать и посмотреть, что получится

bool isBusy(Mutex AMutex) {
  bool res = AMutex.WaitOne(0);
  if (res)
    AMutex.ReleaseMutex();  // если был свободен, то мы его заняли и нужно освободить
  return !res;
}

но учтите, что такая проверка бессмысленна, ибо через миллисекунду ситуация может поменяться