如何为独立的ANTLR lexer&parser添加虚拟标记？

Question

我正在使用ANTLR并基于分离的Java6 lexer&grammar构建一个AST。lexer定义包含在java6lex.g中，并生成语法使用的令牌。解析器使用这些没有问题，但是当我生成AST时，我想引入想象的令牌--然而，ANTLR似乎不喜欢这个模型。

parser grammar Java6Parse;

options {
    tokenVocab=Java6Lex;
    backtrack=true;
    memoize=true;
    output=AST;
    language = CSharp3;
}

fieldDeclaration
    :   modifiers type variableDeclarator (COMMA variableDeclarator)* SEMI
            -> ^(FIELD modifiers type variableDeclarator+)
    ;

reference to undefined token in rewrite rule: FIELD

tokens { FIELD; }

不，似乎即使定义一个令牌块也会导致EarlyExitException和指示java6parse.g没有规则的错误。我想，解析器语法不喜欢在解析器中定义令牌。所以，我在lexer中定义了它。这又一次失败了。然后我在lexer和parser中定义了每个令牌--再次失败。

所以，以下是我需要知道的。当lexer和parser分离时，是否有方法定义一个虚构的令牌，如果是，如何定义。如果不是，唯一的选择是将语法和lexer组合回同一个文件吗？

Answer 1

您很可能将标记{}块包含在错误的位置。ANTLR3要求语法头元素以特定的顺序出现。有关正确顺序，请参见堆栈溢出答案：

在ANTLR中使用@Header