ANTLR语法中解析器和lexer规则的调用顺序是什么？

Question

ANTLR语法中解析器和词法分析器规则的调用顺序是什么？例如，在以下语法中，输入

223

始终标识为APLHANUMERIC而不是数字

digit  : F_DIGIT+;
alpha  : APLHANUMERIC;
APLHANUMERIC   : (LOWERCASE | UPPERCASE | F_DIGIT | '_')+ ;
fragment LOWERCASE  : [a-z] ;
fragment UPPERCASE  : [A-Z] ;
fragment F_DIGIT   : [0-9] ;

Answer 1

详细说明一下评论：

标记器（又名Lexer）将始终处理您的输入流，生成一个标记流，供解析器规则在识别源结构时使用。

唯一的“调用顺序”是标记化器在解析器之前运行（这显然是必要的，因为解析器作用于解析器生成的标记）。

对于lexer规则，所有规则都在逻辑上应用于您的输入流。如果您有多个Lexer规则可以匹配输入中的下一个字符，那么就会有两个规则发挥作用。

1-如果一个Lexer规则匹配更长的字符集，那么它将用于生成标记。

2-如果输入流中有多个规则与相同数量的字符匹配，则语法中出现的第一个规则将“获胜”

片段不是lexer规则。它们只是一种方便，您可以利用它们来编写Lexer规则，以避免重复并提高可读性。

在解析器中，选择起始规则，然后解析器处理该规则的内容（递归调用组成该规则的规则及其子规则等）。唯一涉及的“顺序”是ANTLR将按顺序评估规则中的顶级备选方案，这可用于解决算术表达式中适当的运算符优先级等问题。