ANTLR 4 lexer令牌内其他令牌

Question

我有以下ANTLR 4的语法：

grammar Pattern;

//parser rules
parse   : string LBRACK CHAR DASH CHAR RBRACK ;
string  : (CHAR | DASH)+ ;

//lexer rules
DASH    : '-' ;
LBRACK  : '[' ;
RBRACK  : ']' ;
CHAR    : [A-Za-z0-9] ;

我试图解析以下字符串

ab-cd[0-9]

代码解析出左侧的ab cd，在我的应用程序中，它将被视为文本字符串。然后，它将解析为一个字符集，在这种情况下，该字符集将转换为任何数字。我的语法对我来说很有用，但我不喜欢将语法作为语法分析器规则（CHAR | DASH），因为它只是被当作一个标记。我希望lexer创建一个字符串，并给我以下标记：

"ab-cd" "[" "0" "-" "9" "]"

而不是这些

"ab" "-" "cd" "[" "0" "-" "9" "]"

我看了其他的例子，但还没有弄明白。通常，其他示例在此类字符串文字周围有引号，或者有空格来帮助分隔输入。我想避免两者兼而有之。这可以通过lexer规则来完成吗，或者我需要像现在这样继续在解析器规则中处理它吗？

Answer 1

在ANTLR 4中，您可以使用lexer模式来实现这一点。

STRING : [a-z-]+;
LBRACK : '[' -> pushMode(CharSet);

mode CharSet;

DASH : '-';
NUMBER : [0-9]+;
RBRACK : ']' -> popMode;

解析[字符后，lexer将在模式CharSet下运行，直到到达]字符并执行popMode命令。