antlr4多行字符串解析

Question

如果在antlr4 lexer中有一个ONELINE_STRING片段规则标识一行上的一个简单引号字符串，那么如何在lexer中创建一个更通用的字符串规则，该规则将相邻的ONELINE_STRING连接起来（即，只要它们都在不同的行上开始，仅用空格和/或注释分隔）？

即，

"foo" "bar" 

将被解析为两个字符串标记，“foo”后跟“bar”

同时：

"foo"
"bar"

示例1：

"desc" "this sample will parse as two strings.

Sample3（注意，'output'是该语言中的关键字）：

output "this is a very long line that I've explicitly made so that it does not "
       "easily fit on just one line, so it gets split up into separate ones for "
       "ease of reading, but the  parser should see it all as one long string. "
       "This example will parse as if the output command had been followed by "
       "only a single string, even though it is composed of multiple string "
       "fragments, all of which should be invisible to the parser.%n";

这两个示例都应该被解析器接受为有效。前者是声明的例子，而后者是语言中命令语句的例子。

但是，我一直在想，可以使用ONELINE_STRING作为lexer规则，并使用一个通用的'string'解析器规则来检测相邻的ONELINE_STRINGS，在字符串之间使用谓词来检测下一个ONELINE_STRING标记是否开始于与前一个不同的行，如果是，它应该不可见地将它们连接起来，这样它的文本就无法与在一行上指定的字符串区分开来。然而，我不确定这将如何实施。

好吧，我拿到了。

正如你们中的一些人所建议的那样，我需要在解析器中有字符串识别器。诀窍是在lexer中使用lexer模式。

BEGIN_STRING : '"' -> pushMode(StringMode);

mode StringMode;
END_STRING: '"'-> popMode;
STRING_LITERAL_TEXT : ~[\r\n%"];
STRING_LITERAL_ESCAPE_QUOTE : '%"' { setText("\""); }; 
STRING_LITERAL_ESCAPE_PERCENT: '%%' { setText("%"); };
STRING_LITERAL_ESCAPE_NEWLINE : '%n'{ setText("\n"); };
UNTERMINATED_STRING: { _input.LA(1) == '\n' || _input.LA(1) == '\r' || _input.LA(1) == EOF}? -> popMode;

在解析器文件中，我有以下内容：

string returns [String text] locals [int line] : a=stringLiteral { $line = $a.line; $text=$a.text;}
                           ({_input.LT(1)!=null && _input.LT(1).getLine()>$line}? 
                            a=stringLiteral { $line = $a.line; $text+=$a.text; })*
                         ;

stringLiteral returns [int line, String text]: BEGIN_STRING {$text = "";}
    (a=(STRING_LITERAL_TEXT
    | STRING_LITERAL_ESCAPE_NEWLINE
    | STRING_LITERAL_ESCAPE_QUOTE
    | STRING_LITERAL_ESCAPE_PERCENT
    ) {$text+=$a.text;} )*
    stringEnd { $line = $BEGIN_STRING.line; }
  ;
stringEnd: END_STRING #string_finish
         | UNTERMINATED_STRING #string_hang
         ;

因此，只要相邻的字符串字元位于不同的行上，字符串规则就会将它们串联起来。stringEnd规则需要一个事件处理程序，用于当字符串文本没有正确终止时，这样解析器就可以报告语法错误，但在其他情况下，字符串将被视为正确关闭。

Answer 1

编辑：对不起，没有完全阅读您的要求。下面的方法将匹配两个示例，而不仅仅是所需的示例。得好好想想...

最简单的方法是在解析器中执行此操作。我认为没有必要要求在lexer中这样做。

multiString : singleString +;
singleString : ONELINE_STRING; 


ONELINE_STRING: ...; // no fragment!
WS : ... -> skip;
Comment : ... -> skip;