ANTLR4中的令牌处理不一致

Question

ANTLR4书引用了一个多模式示例

https://github.com/stfairy/learn-antlr4/blob/master/tpantlr2-code/lexmagic/ModeTagsLexer.g4

lexer grammar ModeTagsLexer;

// Default mode rules (the SEA)
OPEN  : '<'     -> mode(ISLAND) ;       // switch to ISLAND mode
TEXT  : ~'<'+ ;                         // clump all text together

mode ISLAND;
CLOSE : '>'     -> mode(DEFAULT_MODE) ; // back to SEA mode 
SLASH : '/' ;
ID    : [a-zA-Z]+ ;                     // match/send ID in tag to parser

https://github.com/stfairy/learn-antlr4/blob/master/tpantlr2-code/lexmagic/ModeTagsParser.g4

parser grammar ModeTagsParser;

options { tokenVocab=ModeTagsLexer; } // use tokens from ModeTagsLexer.g4

file: (tag | TEXT)* ;

tag : '<' ID '>'
    | '<' '/' ID '>'
    ;

我试图在此示例的基础上进行构建，但使用"和"字符作为分隔符。如果我简单地替换，我得到了错误126

<代码>无法为非组合语法中的字符串文字创建隐式标记：“«”

事实上，当我在解析器标记规则中有了字符时，这似乎就会发生。

tag : '«' ID '>';

具有

OPEN    : '«'   -> pushMode(ISLAND);
TEXT    : ~'«'+;

有没有什么我不知道的东西？这是使用antlr4 maven插件。

wiki提到了一些类似的内容，但我的阅读方式与github上的示例和使用<代码>

Answer 1

您是否指定了ANTLR在读取语法时应该使用的文件编码？对于小于255的欧洲字符应该可以，但。。。

Answer 2

以下情况之一正在发生：

>

您忘记在ModeTagsLexer中更新打开规则。g4使用以下表格：

OPEN  : '«' -> mode(ISLAND) ;

您在ANTLR 4中发现了一个错误，应该将其报告给问题跟踪器。