Как работает Scanner.tokens()

В документации к класу Scanner написано, что tokens() возвращает стрим стрингов, таких же которые возвращал бы метод next().

Тогда почему здесь tokens() возвращает весь текст посимвольно, хотя при использовании next() текст делится и возвращается согласно разделителям.

Scanner scanner = new Scanner(System.in).useDelimiter("\\s||\\n");
scanner.tokens().forEach(System.out::println);