ANTLR4:隐式或显式令牌定义

Question

grammar SimpleTest;

top: library | module ;

library: 'library' library_name ';' ;
library_name: IDENTIFIER;         

module: MODULE module_name ';' ;
module_name: IDENTIFIER;

MODULE: 'module' ;
IDENTIFIER: [a-zA-Z0-9]+;

T__0=1
T__1=2
MODULE=3
IDENTIFIER=4
'library'=1
';'=2
'module'=3

如果我对'Library'“令牌”不感兴趣，因为规则已经建立了我要匹配的对象，而且我无论如何都要跳过它，那么用Library和令牌声明替换它有意义吗？（然后，代币的数量将会增加。）为什么在ANTLRWorks中这是一个警告？

Answer 1

实际上，隐式和显式令牌之间是有区别的：

摘自“ANTLR4最终参考”，第76页：

ANTLR收集并从解析器规则中分离所有字符串文本和lexer规则。像'enum'这样的字词成为词法规则，并且紧接在解析器规则之后，但在显式词法规则之前。