ANTLR4 commonTokenStream.getTokens（）不获取所有令牌

Question

我有一个ANTLR4语法，用于语法高亮显示的方法。当用户更改文本时，该方法被触发并生成CommonTokenStream。当我调用GetTokens（）时，我只得到一些预期的令牌。当我调用Consume（）时，我会得到更多，但不是全部。如何获取文本中的所有令牌？

AntlrInputStream stream = new AntlrInputStream(_input);
GrammarLexer lexer = new GrammarLexer(stream);
CommonTokenStream commonTokenStream = new CommonTokenStream(lexer);
List<IToken> list = commonTokenStream.GetTokens();

Answer 1

在CommonTokenStream.getTokens()之前，请先尝试CommonTokenStream.fill():

CommonTokenStream commonTokenStream = new CommonTokenStream(lexer);
commonTokenStream.Fill();
List<IToken> list = commonTokenStream.GetTokens();