ANTLR4中来自列表的令牌的非贪婪匹配

Question

grammar Hello;

file     : ( fixedSentence )* EOF ;
sentence : KEYWORD1 ID+ KEYWORD2 ID+ PERIOD
         | KEYWORD3 ID+ KEYWORD4 ID+ PERIOD;

KEYWORD1 : 'hello' | 'howdy' | 'hi' ;
KEYWORD2 : 'bye' | 'goodbye' | 'adios' ;
KEYWORD3 : 'dear' | 'dearest' ;
KEYWORD4 : 'love' | 'yours' ;
PERIOD  : '.' ;
ID      : [a-z]+ ;
WS      : [ \t\r\n]+ -> skip ;

hello snickers bar goodbye mars bar.
dear peter this is fun yours james.

效果很好。但是我也想匹配包含关键字的句子，这些关键字不会被期望终止ID+块。例如

hello hello kitty goodbye my dearest raggedy ann and andy.

hellofist显示为keyword1，然后作为第一个ID+的一部分。按照上面链接的问题的例子，我可以这样修复它：

// ugly solution:
fixedSentence : KEYWORD1 a=(ID|KEYWORD1|KEYWORD3|KEYWORD4)+ KEYWORD2 b=(ID|KEYWORD1|KEYWORD2|KEYWORD3|KEYWORD4)+ PERIOD
              | KEYWORD3 a=(ID|KEYWORD1|KEYWORD2|KEYWORD3)+ KEYWORD4 b=(ID|KEYWORD1|KEYWORD2|KEYWORD3|KEYWORD4)+ PERIOD;

它起作用了，而且做的正是我想要的。在我的真实语言中，我有数百个关键字列表，用于不同类型的句子，所以如果我尝试这种方法，我肯定会犯错误，当我在我的语言中创建新的结构时，我必须返回并编辑所有其他结构。

最好是从列表中进行非贪婪匹配，遵循ANTLR4书中的示例进行注释。所以我试了这个

// non-greedy matching concept:
KEYWORD : KEYWORD1 | KEYWORD2 | KEYWORD3 | KEYWORD4 ;
niceID : ( ID | KEYWORD ) ;
niceSentence : KEYWORD1 niceID+? KEYWORD2 niceID+? PERIOD
             | KEYWORD2 niceID+? KEYWORD3 niceID+? PERIOD;

我认为它遵循了评论的模式（例如在书的第81页中给出的）：

COMMENT : '/*' .*? '*/' -> skip ;

通过使用？来表示不贪婪。（尽管示例是lexer规则，但这是否改变了这里的含义？）FixedStrence有效，但NiceSentence失败。从这里我要去哪里？

line 1:6 extraneous input 'hello' expecting ID
line 1:29 extraneous input 'dearest' expecting {'.', ID}

line 1:6 extraneous input 'hello' expecting {ID, KEYWORD}
line 1:29 extraneous input 'dearest' expecting {KEYWORD2, ID, KEYWORD}
line 1:57 extraneous input '.' expecting {KEYWORD2, ID, KEYWORD}

如果查看解析树有帮助，这里是它们。

Answer 1

认识到解析器最适合处理语法，即结构，而不是语义区别。关键字在一个上下文中是否是ID终止符，而在另一个上下文中是否是ID终止符，这两者在语法上是等价的，这是本质上的语义问题。

处理语义歧义的典型ANTLR方法是创建一个解析树，识别尽可能多的结构差异，然后遍历树，分析每个节点与周围节点的关系（在本例中），以解决歧义。

如果解析器为

sentences : ( ID+ PERIOD )* EOF ;

那么你的句子基本上是自由形式的。更合适的工具可能是NLP库--斯坦福有一个很好的工具。

附加

如果将lexer规则定义为

KEYWORD1 : 'hello' | 'howdy' | 'hi' ;
KEYWORD2 : 'bye' | 'goodbye' | 'adios' ;
KEYWORD3 : 'dear' | 'dearest' ;
KEYWORD4 : 'love' | 'yours' ;
. . . .
KEYWORD : KEYWORD1 | KEYWORD2 | KEYWORD3 | KEYWORD4 ;

hello    hello    kitty goodbye  my dearest  ...
KEYWORD1 KEYWORD1 ID    KEYWORD2 ID KEYWORD3 ...

niceID : ( ID | keyword ) ;
keyword : KEYWORD1 | KEYWORD2 | KEYWORD3 | KEYWORD4 ;