• как токенизировать

11:50 25 июля 2018

Решил по надобности понять устройство языков программирования, как всегда начал с лексеров но у меня появилась проблема, я не могу понять как токенизировать строку ведь она может быть произвольнойМой код:

180