使用lexer语法运行Antlr4解析器会出现令牌识别错误

Question

我正在尝试创建一个语法来解析Solr查询（只需要稍微相关，您不需要了解任何关于Solr的信息来回答这个问题--只需要比我了解更多关于ANTLR4.7的信息就可以了）。我将它建立在Solr6中的QueryParser.jj文件的基础上。我找了一个现存的，但似乎没有一个不是旧的和过时的。

我被困住了，因为当我尝试运行解析器时，我得到了“token recognition error”。

我创建的lexer使用lexer模式，据我理解，这意味着我需要一个单独的lexer语法文件。所以，我有一个解析器和一个lexer文件。

我把它删减成一个简单的例子来说明我看到了什么。也许有人能告诉我我做错了什么。解析器(junk.g4):

grammar Junk;

options {
  language = Java;
  tokenVocab=JLexer;
}

term : TERM '\r\n'; 

我不能使用导入，因为我试图创建的lexer文件中的lexer模式（如果我使用导入，模式中的令牌将变为“未定义”）。这就是为什么我引用带有tokenVocab参数的lexer文件（如github中的XML示例所示）。

下面是lexer(jlexer.g4):

lexer grammar JLexer;

TERM : TERM_START_CHAR TERM_CHAR* ;

TERM_START_CHAR : [abc] ;  
TERM_CHAR : [efg] ; 
WS  : [ \t\n\r\u3000]+ -> skip;

如果我将lexer代码复制到解析器中，那么事情就会按照预期工作（例如，“aeee”是一个术语）。此外，如果我使用grun（指定标记为目标）运行lexer文件，那么字符串将解析为术语（正如预期的那样）。

line 1:0 token recognition error at: 'a'
line 1:1 token recognition error at: 'e'
line 1:2 token recognition error at: 'e'
line 1:3 token recognition error at: 'e'
[@0,4:5='\r\n',<'
'>,1:4]

我不明白我做错了什么。是我经营Grun的方式吗？如有任何建议，将不胜感激。

Answer 1

永远相信你的直觉！grun内部有一些约定：-）参见这里的testrig.java c.第125、150行。如果还添加一些额外的CLI参数，会好得多。

当lexer和grammar分别编译时，语法名称--在您的例子中--将是（只要testrig为）“junk”，并且这两个文件必须命名为“junklexer.g4”和“junkparser.g4”。因此，解析器文件junkparser.g4中的头也应该修改

parser grammar JunkParser;
options { tokenVocab=JunkLexer; }
... stuff

现在您可以运行您的测试

> antlr4 JunkLexer
> antlr4 JunkParser
> javac Junk*.java
> grun Junk term -tokens
aeee
^Z
[@0,0:3='aeee',<TERM>,1:0]
[@1,6:5='<EOF>',<EOF>,2:0]
>