Как работает JVM написанная на Java?

Если вы посмотрите языки используемые в репозитории Maxine-VM, то увидите, что 1.6% кода - это код на C:

А если загляните в документацию, то сможете найти такой текст:

The Maxine VM is written almost entirely in Java, with a small part, called the substrate, written in C. The substrate implements the native launcher for the Maxine VM. It encapsulates in a platform-independent API the native services from the Operating System (OS), e.g., virtual memory operation, native thread support, and signal handling. The substrate also includes native services to support JNI and JVMTI.

То есть дополнительная виртуальная машина для запуска этой JVM не нужна. Она уже содержит необходимый минимум для запуска, написанный на C. А после запуска станет виртуальной машиной для самой себя.