基于Antlr的永续流数据解析

Question

fox: 'quick' 'brown' 'fox' '\r'? '\n' ;

  CharStream input = new UnbufferedCharStream(is);
  MyLexer lex = new MyLexer(input);
  lex.setTokenFactory(new CommonTokenFactory(true));
  TokenStream tokens = new UnbufferedTokenStream(lex);
  MyParser parser = new MyParser(tokens);
  MyParser.FoxContext fox = parser.fox();

当“b”输入时-输入规则“fox”

然后是“roun”--什么都没有（2个代币在流中--他们中的任何一个都不为leser所知！）

只有在'f'之后，侦听器才会访问第一个令牌:'quick'

谢了！

Answer 1

ANTLR4本来打算包含一个解析流输入的示例，但我反对它，因为使用自适应无限lookahead解析器来处理类似的问题将不可避免地产生严重的复杂性。

ANTLR4没有保证的lookahead界限（也没有办法告诉它寻找或甚至尝试强制执行一个界限），因此任何在阻塞流上操作的实现都有可能发生死锁，而不会返回关于该点之前的解析的信息。我甚至不会考虑解析流输入的可能性，除非我首先看到了一个中间缓冲区。

1. 获取所有可用的（或以前未解析的）输入并将其放在字符串或字符[]中。
2. 为缓冲区创建antlrinputstream。
3. 尝试lex/解析此流，其末尾将有一个隐式EOF。

>

如果没有出现语法错误，则输入解析成功，当输入的下一部分稍后可用时，您可以解析它。

如果在使用EOF令牌之前报告了语法错误，那么实际输入中就会出现语法错误，所以您需要处理它（向用户报告，等等）。

如果在使用EOF令牌的地方报告了语法错误，那么额外的输入可以解决问题-忽略当前解析的结果，然后在输入流中有更多数据可用时重试。