ANTLR4还支持无扫描解析器语法吗？

Question

我有一个利用CharsAsTokens人造lexer的无扫描解析器语法，它为ANTLR4到4.6版本生成了一个可用的Java解析器类。但是，当更新到ANTLR 4.7.2到4.9.3-Snapshot时，该工具会生成代码，从相同的语法文件产生数十个编译错误，如下所述。

我这里的问题很简单：是否不再支持无扫描解析器语法，或者必须在4.7和更高版本中以不同的方式指定基于字符的终端？

更新：

不幸的是，我不能在这里张贴我的完整语法，因为它来自FOO安全标记指南，访问被美国政府收回（我是国防部/集成电路承包商）。

但是，不兼容的升级问题完全可以在最终的ANTLR4参考文献第5.6节中Ter提到的CSQL.g4无扫描解析器语法示例中重现。

'\*'=42
'+'=43

并且解析器语法在其规则中直接引用引用的令牌名称，如：

star: '*' ws? ;
plus: '+' ws? ;

这里的问题是，使用ANTLR4版本4.2和4.6从这样的语法生成了可编译的解析器类，而ANTLR V4.7.2和更高版本生成了带有大量错误的Java代码。

下面是ANTLR V4.6生成的可用CSQL Java类定义的一个片段：

 public static class ArgsContext extends ParserRuleContext {
      public List<ArgContext> arg() {
          return getRuleContexts(ArgContext.class);
      }
      public ArgContext arg(int i) {
          return getRuleContext(ArgContext.class,i);
      }
      public ArgsContext(ParserRuleContext parent, int invokingState) {
          super(parent, invokingState);
      }
      @Override public int getRuleIndex() { return RULE_args; }
      @Override
      public void enterRule(ParseTreeListener listener) {
          if ( listener instanceof CSQLListener ) ((CSQLListener)listener).enterArgs(this);
      }
      @Override
      public void exitRule(ParseTreeListener listener) {
          if ( listener instanceof CSQLListener ) ((CSQLListener)listener).exitArgs(this);
      }
 }

 public static class ArgsContext extends ParserRuleContext {
      public List<ArgContext> arg() {
          return getRuleContexts(ArgContext.class);
      }
      public ArgContext arg(int i) {
          return getRuleContext(ArgContext.class,i);
      }
      public List<TerminalNode> ','() { return getTokens(CSQL.','); }   // line 446
      public TerminalNode ','(int i) {                                  // line 447
          return getToken(CSQL.',', i);                                 // line 448
      }                                                                 // line 449
      public ArgsContext(ParserRuleContext parent, int invokingState) {
          super(parent, invokingState);
      }
      @Override public int getRuleIndex() { return RULE_args; }
      @Override
      public void enterRule(ParseTreeListener listener) {
          if ( listener instanceof CSQLListener ) ((CSQLListener)listener).enterArgs(this);
      }
      @Override
      public void exitRule(ParseTreeListener listener) {
          if ( listener instanceof CSQLListener ) ((CSQLListener)listener).exitArgs(this);
      }
 }

Syntax error on token "','", Identifier expected  CSQL.java     /CSQL/generated-sources  line 446  Java Problem
Syntax error on token "','", delete this token    CSQL.java     /CSQL/generated-sources  line 447  Java Problem
CSQL cannot be resolved to a variable   CSQL.java /CSQL/generated-sources     line 448  Java Problem
Syntax error on token ".", , expected   CSQL.java /CSQL/generated-sources     line 448  Java Problem

那么，为什么在ANTLR V4.7+中会出现向后不兼容的变化，我应该如何最好地解决这个问题呢？

Answer 1

尝试定义一个grammarlexer.g4文件，而不是grammarlexer.tokens文件。（您仍然可以使用选项：{tokenVocab=grammarlexer；}，就像创建grammarlexer.tokens文件一样）

T1 : ' ';
T2 : '\n';
T3 : '\r';
T4 : 'a';
T5 : 'b';

这将为您创建令牌名称。Antlr将允许在解析器语法规则中使用'a'、'\n'等，但将它们与lexer语法中的lexer规则名称匹配，并使用该名称（例如：当您的规则中有'a'时:T4，当您有'\n'),以便编译干净。只要charsaStokens生成相同的令牌值，就不必使用lexer。（不过，仔细考虑一下，该杠杆可能相当于您正在使用的CharsaStokens标记器，并保证标记数匹配。）

这似乎仍然可以实现令牌只是一个字符流的目标，并处理解析器规则中的所有内容。（并不比生成*.tokens文件更麻烦。两者都需要是所有有效字符的详尽列表。）