ANTLR lexer规则消耗太多

Question

我需要以下令牌：

• 允许的字符包括大写、小写、数字、空格和连字符
• 长度不固定（长度必须至少为两个字符）
• 标记必须至少包含一个空格或连字符
• 令牌必须以大写、小写、数字、空格或连字符开头和结尾（不能以空格开头或结尾）

下面语法中的ANTLR lexer规则“alphanumericspacehyphen”除了一个情况外几乎都起作用。使用解析器规则“sic”进行测试，以下输入将解析（不带引号）：

以下输入无法解析（没有引号）：

标准行业分类：水运[4400]

问题是lexer规则“alphanumericspacehyphen”消耗了空格和“water transportation”之后的左方括号，然后lexer才意识到没有匹配，因为它做得太过分了。

我尝试过各种类型的谓词，但没有任何运气。非常感谢任何帮助。

grammar T;

sic: SICSpecifier AlphaNumericSpaceHyphen  LEFTBRACKET Digits RIGHTBRACKET;

LEFTBRACKET  
:   '[';  

RIGHTBRACKET 
:   ']';

SICSpecifier: 'STANDARD INDUSTRIAL CLASSIFICATION:';

WS : (' '|'\t')+ 
{   
  $channel = HIDDEN;  
};  

fragment UCASEALPHA : 'A'..'Z';
fragment LCASEALPHA : 'a'..'z';
fragment DIGIT : '0'..'9';
Digits: DIGIT+;

AlphaNumericSpaceHyphen 
:           (UCASEALPHA|LCASEALPHA |DIGIT|'-')+  (' ' (UCASEALPHA|LCASEALPHA |DIGIT|'-')+)+   
        |   (UCASEALPHA|LCASEALPHA |DIGIT)+ ('-')+  ((' '|UCASEALPHA|LCASEALPHA |DIGIT|'-')* (UCASEALPHA|LCASEALPHA |DIGIT|'-'))?
        |   ('-')+ (UCASEALPHA|LCASEALPHA |DIGIT)+  ((UCASEALPHA|LCASEALPHA |DIGIT|'-'|' ')* (UCASEALPHA|LCASEALPHA |DIGIT|'-'))?   
        ;

Answer 1

不幸的是，没有回溯lexer规则。你可以看看

ANTLR lexer规则即使不匹配也会消耗字符？

您可以尝试调整语法，以便按照此解决方案中的建议更改令牌的类型。