将CommonTokenStream切换为忽略或启用空白

Question

我的原始语法使用skip命令在解析过程中忽略空白。

WS      :   [ \t]+ ->  skip ;

但是对于重构方法，我需要将空格标记发送到隐藏通道以根据此接收器使用TokenStreamReWriter：ANTLR4：TokenStreamReWrit输出没有正确的格式（删除空格）

WS      :   [ \t]+ ->  channel(HIDDEN);

现在的问题是解析器将空白识别为标记，我希望在默认解析过程中避免这种情况。

是否可以根据常规解析过程或重构方法（使用相同语法）的解析过程在同一规则的两个不同实现之间切换？

我需要语义谓词吗？或者CommonTokenStream中是否有一种方法可以跳过或启用WhitePacces？

Answer 1

我不太确定是什么导致了你的问题。你的预期行为是正确的。

WS[\t]-

将这些令牌移动到解析器未处理的通道。您不需要语义谓词，也不需要Common TokenStream上的任何特殊调用来实现这一点。

这就是我在语法中所做的，解析器看不到WS（我有一个稍微不同的WS规则，但没有任何区别）。

lexer（又名tokenizer）独立于解析器（在解析器之前）运行，因此解析器不能做任何事情来影响lexer的工作方式（例如，令牌放置在哪个通道上）。

您可能还想在TokenStream上查看以下方法：

public List<Token> getTokens(int start, int stop, int ttype)

使用该方法，您可以通过提供注释标记的标记类型作为第三个参数，在开始和停止标记索引中提取注释标记的列表。