ANTLR4 lexer不能按语法顺序解决歧义

Question

RRV0#ABC

grammar Tiny;

thing : RRV N HASH ID ;

RRV : 'RRV' ;
N : [0-9]+ ;
HASH : '#' ;
ID : [a-zA-Z0-9]+ ;
WS : [\t\r\n]+ -> skip ; // match 1-or-more whitespace but discard

BEGIN : 'begin' ; // match b-e-g-i-n sequence; ambiguity resolves to BEGIN
ID : [a-z]+ ; // match one or more of any lowercase letter

使用上面的测试数据运行ANTLR4测试平台，输出为

[@0,0:3='RRV0',<4>,1:0]
[@1,4:4='#',<3>,1:4]
[@2,5:7='ABC',<4>,1:5]
[@3,10:9='<EOF>',<-1>,2:0]
line 1:0 mismatched input 'RRV0' expecting 'RRV'

我可以看到第一个标记是ID的<4>，值为'rrv0'

我已经尝试重新安排lexer项目顺序。我还尝试通过在语法规则中显式匹配来使用隐式lexer项（而不是通过显式lexer项）。我也试着做火柴。那些对我来说并不成功。

Answer 1

只有当两个不同的lexer规则匹配相同长度的令牌时，语法顺序解析策略才适用。当长度不同时，最长的总是获胜。在您的示例中，ID规则匹配长度为4的标记，该标记比仅匹配3个字符的RRV标记长。

这种策略在Java这样的语言中尤其重要。考虑以下输入：

String className = "";

连同以下两个语法规则（略有简化）：

CLASS : 'class';
ID : [a-zA-Z_] [a-zA-Z0-9_]*;