在Antlr 3（或4）中，如何使lexer基于谓词回溯？

Question

我在ANTLR3中有以下（简化）问题。我有一套特殊字符串和常规字符串语法的lexer规则。两者都是单引号。特殊字符串符合一种模式（例如，假设它们只包含字母）。还有一个函数可以确定匹配的字符串是否特殊。空白被忽略。

现在假设isSpecial只对字符串“foo”返回true。如果我看的是“'foo''bar''123'”，那么lexer应该为foo生成一个特殊的字符串标记，然后生成两个常规字符串标记。

SpecialLiteral : { isSpecial(getText()) }?=> '\'' (Letter)+ '\'' ;
StringLiteral : '\'' ( ~('\') )* '\'' ;

有可能解决这个问题吗？如果我只是手动编辑lexer，它似乎应该是可行的。我们知道mSpecialLiteral之前的位置，所以我们可以回到那里，然后像选通谓词之后那样操作。如何使用语法/要传递给isspecial的是什么？

Answer 1

您可以在同一规则中匹配两者，然后在文本匹配后检查它是哪种类型，并在isspecial(getText())为true时将类型更改为specialliteral:

grammar T;

...

tokens {
  SpecialLiteral;
}

...

StringLiteral
 : '\'' ( ~( '\'' ) )* '\''
   {
     if(isSpecial(getText())) {
       $type = SpecialLiteral;
     }
   }
 ;