用嵌入式多行控制字符seuqences解析字符串

Question

'some text'\1B 1B 1B\'some more text'.

控制字符序列以'\为前缀，以\\结尾。在控制序列中有两个数字，它们指定控制字符。

在上面的示例中，结果字符串为

'some textESCESCESCsome more text'

ESC代表不可打印的ASCII转义字符。

'some text'\1B 
1B 
1B\'some more text'.

grammar stringliteral;

tokens {
    CHAR,CHARS,CTRLCHARS,ESC,WHITESPACE,NEWLINE
}

stringLiteral:  '\'' CHARS? '\'' ;

fragment
CHARS: CHAR+ ;

fragment
CHAR: CTRLCHARS | ~['\n\r] ;

fragment
ESC: '\'\\' ;

fragment
CTRLCHARS: ESC ~['] ESC;

WHITESPACE: (' ' | '\t')+ -> channel(HIDDEN);

NEWLINE: ( '\r' '\n'? | '\n' ) -> channel(HIDDEN);

grammar stringliteral;

tokens {
     STRING
}

stringLiteral: STRING;
STRING: '\'' ( '\'' '\\' | '\\' '\'' | . )*? '\'';

输入'a string'\ctrl\''会产生错误

Line 1:10 token recognition error at: '\'
line 1:11 token recognition error at: 'C'
line 1:12 token recognition error at: 'T'
line 1:13 token recognition error at: 'R'
line 1:14 token recognition error at: 'L'
line 1:15 token recognition error at: '\'

你知道吗？顺便说一句：我们使用的是antlr V4.5。

Answer 1

这种语法存在多个问题：

1. 不能在解析器规则中使用片段lexer规则。
2. 您的字符串规则是解析器规则，因此它受制于您用空白和换行规则定义的自动移除空白。
3. 您没有规则来接受像\1b1b1b这样的控制字符序列。

特别是第三点是一个真正的问题，因为您不知道您的控制序列在哪里结束（除非这只是一个错别字，实际上您的意思是:\1b\1b\1b。

STRING: '\' ('\\' '\'' | . )*? '\'';