Antlr：通用令牌定义

Question

我想在一个中央Antlr文件中定义公共令牌常量。这样，我就可以定义几个不同的lexer和parser，并在运行时混合和匹配它们。如果它们都共享一组共同的令牌定义，那么它们就可以正常工作。

换句话说，我想看到公共静态final int WORD=2 ，所以他们都同意“2”是一个单词。

我创建了一个名为CommonTokenDefs的文件。g4并添加了如下部分：

tokens {
WORD, NUMBER
}

并包括

options { tokenVocab = CommonTokenDefs; }

在我的每一个人身上。g4文件。它不起作用。A.如果包含tokenVocab的g4文件在its中定义了令牌类型，那么它将分配一个不同的常量int，更糟糕的是，它将在its中定义一个令牌类型。令牌文件它将包含重复的常量！

FOO=1
BAR=2
WORD=1
NUMBER=2

执行导入CommonTokenDefs 也不起作用，因为如果我在lexer中定义一个令牌类型，并且它已经在CommonTokenDefs中，那么我会得到一个“token name FOO is ready defined”错误。

如何跨词法分析器和解析器创建通用词汇表？

Answer 1

包含语法意味着合并它。导入的语法不是自己的实例，而是丰富了导入的语法。导入语法根据其中定义的内容对其标记进行编号（并添加导入语法中的标记）。

我在这里看到的唯一解决方案是在所有解析器中使用单个词法器语法，如果可能的话。您可以通过使用不同的基词法器（ANTLR选项：superClass）在您的词法器中实现某些变体，但这当然是有限的，尤其是不允许添加更多标记。

实际上，有一种方法可以让它按你的意愿工作。除了import语句（用于导入语法）之外，还有tokenVocab语法选项，用于加载*。令牌文件，带有对令牌的数值赋值。通过使用这样的令牌词汇表，您可以预定义ANTLR应该为每个令牌使用哪个值，从而可以确定某些令牌总是获得相同的数值。请参见生成的*。标记所需格式的文件。

我使用*. Tokens文件来分配数值，以便将某些关键字放置在连续的值范围内，这允许以后进行有效的检查，例如：

if (token >= KW_1 && token < KW100) ...

如果ANTLR可以自由地为每个关键字赋值，这是不可能的。