ANTLR4 lexer规则与正确的文本块不匹配

Question

我试图了解ANTLR4是如何基于lexer和解析器规则工作的，但我在下面的示例中遗漏了一些内容：

我正在尝试解析一个文件，并匹配所有的数学加法（例如1+2+3等）。我的文件包含以下文本：

start
4 + 5 + 22 + 1
other text other text test test
test test other text
55 other text
another text 2 + 4 + 255
number 44
end

我想和

4+5+22+1

而且

2+4+255

grammar Hello;
hi : expr+ EOF;
expr : NUM (PLUS NUM)+;

PLUS : '+' ;
NUM : [0-9]+ ;
SPACE : [\n\r\t ]+ ->skip;
OTHER : [a-z]+ ;

OTHER : [a-z]+ ->skip;

以上所述都与lexer匹配输入的方式有关？我知道lexer会查找第一个最长的匹配规则，但我如何更改语法以便只匹配添加的规则呢？

Answer 1

为什么规则“expr”与文本“start”匹配？

它没有。当一个令牌在树中显示为红色时，这表示有错误。令牌与任何可能的备选项都不匹配，因此产生了一个错误，解析器继续使用下一个令牌。

此外，在上面的图像中，文本'55，其他文本，其他文本‘匹配作为AST中的节点的表达式。为什么会出现这种情况？

4 + 5 + 22 + 1 55 2 + 4 + 255 44

4+5+22+1可以解析为表达式，没有问题。之后，解析器需要一个+（继续表达式）或一个数字（开始一个新表达式）。因此，当它看到55时，这表示新表达式的开始。现在它需要+（因为语法规定加num必须在表达式中的第一个数字之后至少出现一次）。它实际得到的是数字2。因此它会产生一个错误并忽略该标记。然后它会看到一个+，这正是它所期望的。然后继续这样做，直到44，它再次开始一个新的表达式。由于后面没有+，这是另一个错误。

以上所述都与lexer匹配输入的方式有关？

不是真的。“start 4+5”的令牌序列是其他NUM加NUM，如果跳过其他，则只是NUM加NUM。“55 skippedtext 2+4”的令牌序列是NUM NUM PLUS NUM。我想这正是你所期待的。