Lexer lookahead在ANTLR3和ANTLR4中如何使用贪婪和非贪婪匹配？

Question

KEYWORD: 'keyword' ;

IDENTIFIER
: 
  (options {greedy=false;}: (LOWCHAR|HIGHCHAR))+ 
;

/** lowercase letters */
fragment LOWCHAR
:   'a'..'z';
/** uppercase letters */
fragment HIGHCHAR
:   'A'..'Z';

parse: IDENTIFIER KEYWORD EOF;

基本上，我试图为lexer指定尝试匹配(LOWCHARHIGHCHAR)的非贪婪方式，因此它停止在关键字lookahead。到目前为止，我所读到的关于ANTLR lexer的内容是，应该有某种lexer规则的优先级。如果我在lexer语法中首先指定关键字lexer规则，那么后面的任何lexer规则都不能匹配所使用的字符。

经过一番搜索，我明白了这里的问题是它不能以正确的方式标记输入，因为例如对于输入：“identifierKeyword”，“IDENTIFIER”部分是第一位的，所以它决定在还没有匹配的关键字标记时开始匹配IDENTIFIER规则。

然后我尝试在ANTLR4中编写相同的语法，以测试新的提前运行功能是否能够与我想要的匹配，看起来如下所示：

KEYWORD: 'keyword' ;

/** lowercase letters */
fragment LOWCHAR
:   'a'..'z';
/** uppercase letters */
fragment HIGHCHAR
:   'A'..'Z';

IDENTIFIER
: 
  (LOWCHAR|HIGHCHAR)+?
;

parse: IDENTIFIER KEYWORD EOF;

我想我脑子里有很多关于非贪婪/贪婪匹配的错误。谁能解释一下它是怎么工作的吗？

在这之后，我在这里发现了一个类似的问题：ANTLR试图在更长的令牌中匹配令牌，并创建了一个相应的语法：

parse
:   
  identifier 'keyword'
;

identifier
:   
  (HIGHCHAR | LOWCHAR)+
;

/** lowercase letters */
LOWCHAR
:   'a'..'z';
/** uppercase letters */
HIGHCHAR
:   'A'..'Z';

这完成了我现在想要的，但是我不明白为什么我不能将标识符规则更改为Lexer规则，将LOWCHAR和HIGHCHAR更改为片段。一个Lexer不知道“keyword”中的字母可以匹配为标识符？或者反之亦然？或者，规则的定义仅仅是为了在自身内部有一个前瞻，而不是所有可能匹配的语法？

Answer 1

在ANTLR3和ANTLR4中解决此问题的最简单方法是只允许identifier匹配单个输入字符，然后创建一个解析器规则来处理这些字符的序列。

identifier : IDENTIFIER+;
IDENTIFIER : HIGHCHAR | LOWCHAR;

这将导致lexer跳过输入的identifier作为10个单独的字符，然后读取keyword作为单个keyword令牌。

您在ANTLR4中观察到的使用非贪婪运算符+？的行为与此类似。这个运算符说“在创建标识符令牌的同时，尽可能少地匹配(HIGHCHARLOWCHAR)块”。显然，创建令牌的最少数字是一个，因此这实际上是一种非常低效的编写identifier以匹配单个字符的方法。parse规则无法处理此问题的原因是它只允许在keyword令牌之前出现一个identifier令牌。通过创建如上所示的解析器规则identifier，解析器将能够将identifier标记序列（每个标记都是单个字符）视为单个标识符。