在ANTLR4中优先匹配短令牌

Question

MILLI_OR_METRE:     'm' ;
OSMOLE:             'osm' ;
MONTH:              'mo' ;
SECOND:             's' ;

标准的TestCase之一是MOSM，lexer应该从中生成令牌流milli_or_metre osmole。不幸的是，由于ANTLR优先匹配较长的令牌，它生成令牌流月秒毫米波或米波，这将导致解析器引发错误。

是否可以先让ANTLR4 lexer尝试使用较短的令牌进行匹配？向month添加lookahead-type规则并不是一个很好的解决方案，因为我需要考虑各种潜在的词法冲突（例如，mol被命名为month litre，而不是mole，等等）。

编辑：

MONTH:  'mo' { _input.La(1) != 's' && _input.La(1) != 'l' && _input.La(1) != '_' }? ;

// (note: this is a C# project; java would use _input.LA instead)

但这并不是一个真正的可扩展或可维护的解决方案，而且还会引入其他我还没有遇到的微妙问题。

Answer 1

您的问题并不要求首选较小的令牌（在这种情况下，将永远不会匹配月份）。您需要一个取决于文本是否匹配的回溯行为。对吧？

ANTLR将标记化和解析严格分开。因此，你的问题的每一个解决方案看起来都像是一个黑客。

然而，其他解析器生成器专门处理类似您的问题。Packrat解析器(PEG)是回溯的，允许动态标记化。为此尝试蒸谷底。