用转义字符解析带引号的字符串

Question

我在解析antlr4中的格式行列表时遇到了一个问题

* this is a string
*  "first"  this is "quoted"
* this is "quoted with \" "

(list 
(line * (value (string this is a string))) 
(line * (value (parameter first) (string   this is) (parameter quoted))) 
(line * (value (string this is) (parameter quoted with " )))
)

grammar List;
list : line+;
line : '*' (WS)+ value* NEWLINE;
value : string
      | parameter
      ;
string : ((WORD) (WS)*)+;
parameter : '"'((WORD) (WS)*)+ '"';
WORD : (~'\n')+;
WS : '\t' | ' ';
NEWLINE     : '\n';

但这是失败的第一个字符识别'*'本身，这使我困惑。

第1行：0不匹配的输入'*这是一个字符串'，应为'*'

Answer 1

问题是你的lexer太贪婪了。规则

WORD : (~'\n')+;

几乎匹配所有东西。这将导致lexer为您的输入生成以下标记：

• 标记1:单词(*这是一个字符串)
• 标记2:换行符
• 标记3:单词(`*“first”这是“quoteded”）
• 标记4:换行符
• 标记5:单词(*这是“用引号\”“)

是的，这是正确的：只有单词和换行标记。ANTLR的lexer试图用尽可能多的字符构造令牌，但它不会“监听”解析器试图匹配的字符。

错误消息：

第1行：0不匹配的输入'*这是一个字符串'，应为'*'

告诉您：在第1行，索引0中遇到了带有文本'*这是一个字符串'（类型word)的标记，但解析器试图匹配该标记:'*'

尝试如下所示：

grammar List;

parse
 : NEWLINE* list* NEWLINE* EOF
 ;

list
 : item (NEWLINE item)*
 ;

item
 : '*' (STRING | WORD)* 
 ;

BULLET : '*';
STRING : '"' (~[\\"] | '\\' [\\"])* '"';
WORD : ~[ \t\r\n"*]+;
NEWLINE : '\r'? '\n' | '\r';
SPACE : [ \t]+ -> skip;

它按以下方式解析示例输入：

(parse 
  (list 
    (item 
      * this is a string) \n 
    (item 
      * "first" this is "quoted") \n 
    (item 
      * this is "quoted with \" ")) 
   \n 
  <EOF>)