为什么ANTLR4不匹配作为单词的“of”和作为标点符号的“,”？

Question

我有一个hello.g4语法文件，其中包含语法定义：

definition : wordsWithPunctuation ;
words : (WORD)+ ;
wordsWithPunctuation : word ( word | punctuation word | word punctuation | '(' wordsWithPunctuation ')' | '"' wordsWithPunctuation '"' )*  ;
NUMBER : [0-9]+ ;
word : WORD ;
WORD : [A-Za-z-]+ ;
punctuation : PUNCTUATION ;
PUNCTUATION : (','|'!'|'?'|'\''|':'|'.') ;
WS : [ \t\r\n]+ -> skip ; // skip spaces, tabs, newlines

现在，如果我试图从以下输入构建解析树：

a b c d of at of abc bcd of
a b c d at abc, bcd
a b c d of at of abc, bcd of

它返回错误：

Hello::definition:1:31: extraneous input 'of' expecting {<EOF>, '(', '"', WORD, PUNCTUATION}

a b c d  at:  abc bcd!

ANTLR Tool v4.2.2 (/var/folders/.../antlr-4.2.2-complete.jar)
Hello.g4 -o /Users/.../eclipse_workspace/antlr_test_project/target/generated-sources/antlr4 -listener -no-visitor -encoding UTF-8

grammar Hello;

text : (entry)+ ;

entry : blub 'abrr' '-' ('1')? '.' ('(' NUMBER ')')? sims '-' '(' definitionAndExamples ')' 'Hello' 'all' 'the' 'people' 'of' 'the' 'world';

blub : WORD ;

sims : sim (',' sim)* ;
sim : words ;

definitionAndExamples : definitions (';' examples)? ;

definitions : definition (';' definition )* ;
definition : wordsWithPunctuation ;

examples : example (';' example )* ;
example : '"' wordsWithPunctuation '"' ;

words : (WORD)+ ;
wordsWithPunctuation : word ( word | punctuation word | word punctuation | '(' wordsWithPunctuation ')' | '"' wordsWithPunctuation '"' )*  ;

NUMBER : [0-9]+ ;
word : WORD ;
WORD : [A-Za-z-]+ ;
punctuation : PUNCTUATION ;
PUNCTUATION : (','|'!'|'?'|'\''|':'|'.') ;
WS : [ \t\r\n]+ -> skip ; // skip spaces, tabs, newlines

现在看来，条目规则中的单词以某种方式破坏了条目规则中的其他规则。但为什么？它在语法上是一种反模式吗？

Answer 1

通过在解析器规则中包含''的，ANTLR创建了一个隐式匿名令牌来表示该输入。的单词将始终具有该特殊标记类型，因此它永远不会具有word类型。它在解析树中出现的唯一位置是在解析器规则中出现'of'的位置。

您可以通过将语法分离为单独的hellolexer.g4中的lexer语法hellolexer和helloparser.g4中的parser语法helloparser来防止ANTLR创建这些匿名令牌类型。我强烈建议您始终使用此表单，原因如下：

1. lexer模式仅在执行此操作时才起作用。
2. 隐式定义的标记是语法中最常见的bug来源之一，将语法分离可以防止错误发生。

word
  : WORD
  | 'of'
  | ... other keywords which are also "words"
  ;