Antlr中不明确的Lexer规则

Question

我有一个antlr语法，它有多个与同一个单词匹配的词法规则。在词法分析过程中无法解决这个问题，但通过语法，它就变得毫不含糊了。

示例：

conversion: NUMBER UNIT CONVERT UNIT;
NUMBER: [0-9]+;
UNIT: 'in' | 'meters' | ......;
CONVERT: 'in';

输入：<代码>1英寸（米）

单词“in”与lexer规则UNIT和CONVERT匹配。

如何在保持语法文件可读性的同时解决此问题？

Answer 1

根据你问题中的信息，很难说最好的解决方案是什么——例如，我不知道你的词法规则是什么——也不知道为什么你的词法规则根本不明确。

根据我对antlr的经验，lexer规则通常不具有任何语义；它们只是与某种正则表达式匹配的文本。因此，我不需要变量、方法名等，而只需要标识符，然后在更高的层次上进行计算。

换言之，似乎（从我从你的问题中收集到的一点信息）你可能会从用语法规则替换单位和转换中受益，或者只使用一条规则：

conversion: NUMBER TEXT TEXT TEXT

以及验证ANTLR侦听器/树行者等中的文本值。

编辑

感谢您使用lexer规则更新您的问题。现在很清楚为什么它失败了——正如BernardK指出的那样，antlr总是会选择第一个匹配的lexer规则。这意味着两个模棱两可的lexer规则中的第二个不可能匹配，这使得您提出的设计不可行。

我的观点是，lexer规则不是做单元验证之类事情的正确层；他们擅长结构，而不是内容。评估解析树比尝试扭曲antlr语法要实际得多。

最后，还可以对解析规则执行嵌入操作，例如根据已知的单元集验证ID标记的值。它可以工作，但会破坏语法的可重用性。

Answer 2

当输入匹配两个lexer规则时，ANTLR选择最长的或第一个，请参见消除歧义。根据您的语法，中的将被解释为单位，从不转换，以及规则

conversion: NUMBER UNIT CONVERT UNIT;

无法工作，因为有三个UNIT令牌：

$ grun Question question -tokens -diagnostics input.txt 
[@0,0:0='1',<NUMBER>,1:0]
[@1,1:1=' ',<WS>,channel=1,1:1]
[@2,2:3='in',<UNIT>,1:2]
[@3,4:4=' ',<WS>,channel=1,1:4]
[@4,5:6='in',<UNIT>,1:5]
[@5,7:7=' ',<WS>,channel=1,1:7]
[@6,8:13='meters',<UNIT>,1:8]
[@7,14:14='\n',<NL>,1:14]
[@8,15:14='<EOF>',<EOF>,2:0]
Question last update 0159
line 1:5 missing 'in' at 'in'
line 1:8 mismatched input 'meters' expecting <EOF>

您可以只使用ID或文本标记，并用标签区分它们，如下所示：

grammar Question;

question
@init {System.out.println("Question last update 0132");}
    :   conversion NL EOF
    ;

conversion
    :   NUMBER unit1=ID convert=ID unit2=ID
        {System.out.println("Quantity " + $NUMBER.text + " " + $unit1.text +
         " to convert " + $convert.text + " " + $unit2.text);}
    ;

ID      : LETTER ( LETTER | DIGIT | '_' )* ; // or TEXT : LETTER+ ;     
NUMBER  : DIGIT+ ;

NL      : [\r\n] ;
WS      : [ \t] -> channel(HIDDEN) ; // -> skip ;

fragment LETTER : [a-zA-Z] ;
fragment DIGIT  : [0-9] ;

执行：

$ grun Question question -tokens -diagnostics input.txt 
[@0,0:0='1',<NUMBER>,1:0]
[@1,1:1=' ',<WS>,channel=1,1:1]
[@2,2:3='in',<ID>,1:2]
[@3,4:4=' ',<WS>,channel=1,1:4]
[@4,5:6='in',<ID>,1:5]
[@5,7:7=' ',<WS>,channel=1,1:7]
[@6,8:13='meters',<ID>,1:8]
[@7,14:14='\n',<NL>,1:14]
[@8,15:14='<EOF>',<EOF>,2:0]
Question last update 0132
Quantity 1 in to convert in meters

标签可以从访问者中规则的上下文中获得，因此很容易区分相同类型的标记。