Как работает данный лексер ? Не очень понимаю принцип работы

Класс main

public class main {
    public static void main(String args[]){
        Lexems lex = new Lexems();
        LinkedList<Token> tokens = new LinkedList<Token>();
        String test = "q = 300 - 150 * 2 + 3 / 5";
        String str_1 = "";

        for (int i = 0; i < test.length(); i++) {
            if (test.toCharArray()[i] == ' ') {
                continue;
            }
            str_1 += test.toCharArray()[i];
            String str_2 = " ";
            if(i < test.length()-1){
                str_2 = str_1 + test.toCharArray()[i+1];
            }
            for (String key: lex.lexems.keySet()) {
                Pattern p = Pattern.compile(lex.lexems.get(key));
                Matcher m_1 = p.matcher(str_1);
                Matcher m_2 = p.matcher(str_2);

                if (m_1.find() && !m_2.find()) {
                    tokens.add(new Token(key.toString(), str_1));
                    str_1 = "";
                }
            }
        }
        for (Token t: tokens) {
            System.out.println(t.type + " " + t.token);
        }
    }

Класс Lexems

public class Lexems {
    static Map<String, String> lexems = new HashMap<String,String>();
    public Lexems(){
        lexems.put("VAR", "^[a-z]+$");
        lexems.put("DIGIT", "^0|[1-9][0-9]*$");
        lexems.put("OPERATOR", "^[-|+|/|*]$");
        lexems.put("ASSIGNMENT OPERATOR", "^=$");
    }
}

Класс Token

public class Token {
    String type;
    String token;
    Token(String Type, String Token){
        type = Type;
        token = Token;
    }
}