Как убрать eventHandler с кнопки в javafx?

Не понятно зачем убирать обработчик, сразу после того как Вы его добавили. Ну да ладно, Бог Вам судья. А если серьезно, то Вам надо хэндлер создать отдельно, т.е. не лямбдой его передавать, а прям создать объект EventHandler.

EventHandler<KeyEvent> handler = new EventHadler<>() {
    public void handle(KeyEvent event) {
       gameManager.restartGame(event);
    }
};
scene.addEventHandler(KeyEvent.KEY_PRESSED, handler);
scene.removeEventHandler(KeyEvent.KEY_PRESSED, handler);

Я не уверен на 100%, но думаю сие поведение обусловлено именно тем, что при передаче обработчиков лямбдой, Вы получаете два разных объекта. Соответственно удаление становится проблематичным, т.к. мы не знаем какой именно хэндлер надо удалить. Когда у нас объект хэндлера будет один - мы сможем однозначно его идентифицировать и удалить.