了解ANTLR4令牌

Question

grammar Tst;

init: A token=('+'|'-') B;

A: .+?;
B: .+?;
ADD: '+';
SUB: '-';

public static class InitContext extends ParserRuleContext {
        public Token token;       //<---------------------------- HERE
        public TerminalNode A() { return getToken(TstParser.A, 0); }
        public TerminalNode B() { return getToken(TstParser.B, 0); }
        public InitContext(ParserRuleContext parent, int invokingState) {
            super(parent, invokingState);
        }
        @Override public int getRuleIndex() { return RULE_init; }
        @Override
        public void enterRule(ParseTreeListener listener) {
            if ( listener instanceof TstListener ) ((TstListener)listener).enterInit(this);
        }
        @Override
        public void exitRule(ParseTreeListener listener) {
            if ( listener instanceof TstListener ) ((TstListener)listener).exitInit(this);
        }
    }

public static final int A=1, B=2, ADD=3, SUB=4;

我们如何才能让他们识别lexer规则？所有A、B和Add规则都可能与'+'匹配。那么我在测试它的时候应该使用什么类型。

我的意思是：

TstParser.InitContext ctx;
//...
ctx.token.getType() == //What type?
                       //TstParse.A
                       //TstParse.B
                       //or
                       //TstParse.ADD?

一般来说，我想了解antlr4如何知道令牌的类型？

Answer 1

我将尝试向您介绍解析的过程。这一过程分为两个阶段。Lexer部分（创建令牌的地方）和解析器部分。（这就是解析表达式的来源--如果我们在讨论一般的解析，就不是很精确了）。在这个过程中，您所要做的就是理解输入，同时可能创建一个输入的模型。为了减轻这种情况，工作通常被分成更小的步骤。更容易理解主要表示为“单词”的符号（比字符更大的输入元素）。（关键字、变量、字面要精确）。

因此，您所做的第一步是将字符流形式的输入预处理为令牌。关于令牌，你所能说的就是与它相连的是什么价值，以及它是什么样的令牌。例如，在非常简单的计算器输入“2+3*9”中，“2”表示值2的数字标记，“+”表示值“+”的运算符标记，等等。lexer部分的结果是令牌流。可以想象，lexer和解析器规则非常相似。第一步使用字符，第二步使用令牌。

关于ANTLR（许多其他生成器的工作原理相同），有一个关于LEXER的重要规则。不能对不同的令牌使用相同的规则。因此，您插入的语法将无法工作，因为lexer部分在A和B之间不能不同。您可以只对双方使用相同的令牌名称。你以后会处理的。