在从lexer跳过WS时编写对空白敏感的解析器规则

Question

ENTITY_VAR
    : 'user'
    | 'resource'
    ;

INT : DIGIT+ | '-' DIGIT+ ;
ID : LETTER (LETTER | DIGIT | SPECIAL)* ;
ENTITY_ID : '__' ENTITY_VAR ('_w_' ID)?;

NEWLINE : '\r'? '\n';

WS : [ \t\r\n]+ -> skip; // skip spaces, tabs, newlines

fragment LETTER : [a-zA-Z];
fragment DIGIT : [0-9];
fragment SPECIAL : ('_' | '#' );

有什么想法吗？基本上，任何让我直接访问entity_var和id的解决方案都适合我，可以将entity_id保留为lexer规则，也可以将其移到解析器中。

Answer 1

我可以想到几种方法（不是按照特别的顺序）：

>

从规则entity_id发出几个令牌。参见ANTLR4:如何为灵感注入令牌

在解析器中允许空格，然后检查

使用单个标记并在代码中拆分

使用单个令牌并修改令牌流，然后将其传递给解析器。即。修改entity_id标记并将它们拆分为其他几个标记，然后将此流传递给解析器

不要跳过空白，在处理这些“额外标记”时，请检查它们是否在entity_id部分(=>is error）或(=>ignore error）内。

不要跳过空格，在语法中允许空格的地方添加“ws*”（如果语法不太大，则可以）。

在分析器规则中插入谓词，该规则检查之间是否有空格。

创建一个“陷阱”规则，如下所示：

INVALID_ENTITY_ID : '__' WS+ ENTITY_VAR WS? ('_w_' WS? ID)?
                  | '__' WS? ENTITY_VAR WS+ ('_w_' WS? ID)?
                  | '__' WS? ENTITY_VAR WS? ('_w_' WS+ ID)
                  ;

这将捕获无效的entity_id，因为它比作为单个令牌的部分要长。