为什么在这种情况下，空格对antlr4很重要？

Question

假设我有这个语法，用Antlr4编写：

grammar Test;
start : expr* ;

expr : expr '-' expr
    | INT ;

MINUS : '-' ;
INT: MINUS? DIGIT+ ; // Disclaimer: this definition of an integer is just for illustration purposes

DIGIT : '0'..'9' ;

WS : [ \t\r\n]+ -> skip ; // skip spaces, tabs, newlines

我的思维过程是1-1应该与1-1相同；应该是expr'-'expr。如果1-1

      start
      expr(-)

expr(1)     expr(1)

上面的树似乎是正确的，它再次计算为expr'-'expr。

但是当不使用空格时，antlr认为有两个INT-expr。如果1-1

       start
expr(1)     expr(-1)

不应该跳过所有空格（使用WS规则），这意味着两个表达式的解析方式应该相同吗？

Answer 1

Lexer规则匹配尽可能多的字符，因此-1被标记为减，INT和-1（不带空格）作为s singleINT。

您必须意识到，lexer不会监听解析器。如果解析器尝试为输入1-1匹配标记INT减去INT，lexer不会生成这些标记。因为lexer匹配尽可能多的字符，所以它总是为该输入创建两个INT标记（no减号！）。解析和标记化是两个独立的步骤。