Antlr4带模式的通用令牌

Question

将标记移动到公共文件之前的语法

lexer grammar ALexer;

COMMAND_START
    : [a-zA-Z]                          -> pushMode(COMMAND_MODE)
    ;

EQUALS
    : '='                               -> pushMode(VALUE_MODE)
    ;

mode COMMAND_MODE;

COMMAND_NAME_REMAINDER
    : ([a-zA-Z0-9_ ]? [a-zA-Z0-9])*     -> popMode
    ;

mode VALUE_MODE; 

IDENTIFIER
    : A_Z ((UNDERSCORE | A_Z | DIGIT | WS)*? (UNDERSCORE | A_Z | DIGIT))* -> popMode
    ;

将标记移动到公共文件后的语法

通用lexer由其他3个lexer导入。它具有共享的标识符令牌。

lexer grammar CommonLexer;

..
..
IDENTIFIER
    : A_Z ((UNDERSCORE | A_Z | DIGIT | WS)*? (UNDERSCORE | A_Z | DIGIT))*
    ;

以下lexer导入通用lexer，并具有几种模式

lexer grammar ALexer;

import CommonLexer;

COMMAND_START
    : [a-zA-Z]                          -> pushMode(COMMAND_MODE)
    ;

EQUALS
    : '='                               -> pushMode(VALUE_MODE)
    ;


mode COMMAND_MODE;

COMMAND_NAME_REMAINDER
    : ([a-zA-Z0-9_ ]? [a-zA-Z0-9])*     -> popMode
    ;

mode VALUE_MODE; 

IDENTIFIER_VALUE_MODE
    : IDENTIFIER                            -> type(IDENTIFIER), popMode
    ;   

解析器语法：

parser grammar AParser;

options { tokenVocab=ALexer; }

genericCommand
    : COMMAND_START COMMAND_NAME_REMAINDER? (COLON parameterArray)?
    ;

结果：一个命令，如“删除资源：A先前标识为COMMAND\u START now的将被识别为标识符。

结果屏幕截图

问题：我如何解决这个问题？标识符应保留在CommonLexer中。

如果您需要更多详细信息，请告诉我，谢谢。

Answer 1

我不能确定（你只是在通用Lexer提取中有日蚀），但是在原始Lexer语法中，IDENTIFIER只有在你被推送VALUE_MODE时才会匹配。当你创建通用Lexer时，你似乎已经失去了这个特性。因为它在通用Lexer中是“公开的”，所以它会匹配你是否VALUE_MODE（长度会使它更强）。这解释了不同的行为。

您的IDENTIFIER lexer规则匹配的字符串比COMMAND_START长，因此它将优先。您不会在COMMAND_START规则上得到“命中”以将您推入COMMAND_MODE。这是您问题的核心。您的IDENTIFIER规则与COMMAND_START规则重叠，并且始终至少与COMMAND_START规则匹配一样长（1个字符）或更长，因此ANTLR将始终支持它。

如果没有A_Z、UNDERSCORE、DIGIT和WS的片段定义（您将它们用作片段，所以我假设它们是），则很难确定您打算在COMMAND和IDENTIFIER之间做什么区别。

您COMMAND_START触发模式却立即弹出它的方式是“不寻常的”。我希望看到包含整个模式的COMMAND Lexer规则：

COMMAND: [a-zA-Z]([a-zA-Z0-9_ ]? [a-zA-Z0-9])* 

在这里，我无法真正区分输入流中的命令和标识符。（在令牌中包含WS也是一种反模式）。

这是您可以控制语言设计的地方，还是您必须符合既定定义的地方？

如果你有控制权，我建议你读一读，重新考虑你的方法。

如果它已经建立，也许您可以分享建立的定义以及它如何区分IDENTIFIER和COMMAND。

从这里的行中可以看出，冒号之前的任何内容都是命令，冒号之后的任何内容都是需要标识符的地方。

我认为您试图在Lexer中投入太多工作。尝试将您的命令解析器规则重新思考为更像解析器规则的东西：

genericCommand:  +IDENTIFIER (COLON parameterArray)?;

（如果可以管理的话，我建议从命令和标识符标记中删除WS。这往往会产生各种各样的标记化歧义问题。）