如何标记块（注释、字符串等）以及块间（块外的任何字符）？

Question

我需要标记任何评论“之外”的所有内容，直到行尾。例如：

take me */ and me /* but not me! */ I'm in! // I'm not...

标记为（STR是“外部”字符串，BC是块注释，LC是单行注释）：

{
    STR: "take me */ and me ", // note the "*/" in the string!
    BC : " but not me! ",
    STR: " I'm in! ",
    LC : " I'm not..."
}

和：

/* starting with don't take me */ ...take me...

标记为：

{
    BC : " starting with don't take me ",
    STR: " ...take me..."
}

问题是，除了注释之外，STR可以是任何东西，而且由于注释开头不是单字符标记，我不能对STR使用否定规则。

我想也许可以做一些类似的事情：

STR : { IsNextSequenceTerminatesThe_STR_rule(); }?;

但我不知道如何展望lexer动作中的角色。

甚至可以用ANTLR4 lexer完成吗？如果可以，那么如何实现？

Answer 1

尝试以下操作：

grammar T;

@lexer::members {

  // Returns true iff either "//" or "/*"  is ahead in the char stream.
  boolean startCommentAhead() {
    return _input.LA(1) == '/' && (_input.LA(2) == '/' || _input.LA(2) == '*');
  }
}

// other rules

STR
 : ( {!startCommentAhead()}? . )+
 ;

Answer 2

是的，可以执行您正在尝试的标记化。

根据上面所述，您需要嵌套注释。这些只能在lexer中实现，无需Action、Predicate或任何代码。为了拥有嵌套注释，如果您不使用贪心/非贪心ANTLR选项会更容易。您需要将其指定/编码到lexer语法中。以下是您需要的三个lexer规则...带有STR定义。

我添加了一个用于测试的解析器规则。我还没有测试过这个，但它应该可以满足您提到的所有要求。此外，它不限于“行结束”，如果需要，您可以进行修改。

/*
    All 3 COMMENTS are Mutually Exclusive
 */
DOC_COMMENT
        : '/**'
          ( [*]* ~[*/]         // Cannot START/END Comment
            ( DOC_COMMENT
            | BLK_COMMENT
            | INL_COMMENT
            | .
            )*?
          )?
          '*'+ '/' -> channel( DOC_COMMENT )
        ;
BLK_COMMENT
        : '/*'
          (
            ( /* Must never match an '*' in position 3 here, otherwise
                 there is a conflict with the definition of DOC_COMMENT
               */
              [/]? ~[*/]       // No START/END Comment
            | DOC_COMMENT
            | BLK_COMMENT
            | INL_COMMENT
            )
            ( DOC_COMMENT
            | BLK_COMMENT
            | INL_COMMENT
            | .
            )*?
          )?
          '*/' -> channel( BLK_COMMENT )
        ;
INL_COMMENT
        : '//'
          ( ~[\n\r*/]          // No NEW_LINE
          | INL_COMMENT        // Nested Inline Comment
          )* -> channel( INL_COMMENT )
        ;
STR       // Consume everthing up to the start of a COMMENT
        : ( ~'/'      // Any Char not used to START a Comment
          | '/' ~[*/] // Cannot START a Comment
          )+
        ;

start
        : DOC_COMMENT
        | BLK_COMMENT
        | INL_COMMENT
        | STR
        ;