在ANTLR4 lexer中将无效字符视为单个令牌

Question

我正在使用antlr4语法存储库中的JSON语法为编辑器插件解析JSON文件。它可以工作，但逐个报告无效字符。以下片段导致18个lexer错误：

{
   sometext-without-quotes : 42
}

我想通过将相同类型的连续的、无效的单字符令牌作为一个更大的无效令牌来处理，将其缩减为1-2。

对于一个类似的问题，有人建议使用一个自定义的lexer将“未知”元素粘附到较大的令牌上：在antlr4 lexer中，如何有一个规则来捕获所有剩余的“单词”作为未知令牌？

我假设这绕过了通常的lexer错误报告，如果可能的话，我希望避免这种情况。难道没有一个合适的解决方案来完成这个相当简单的任务吗？它似乎在antlr3中默认工作。

Answer 1

答案就在你提供的链接中。我不想完全照搬原来的答案，所以我会试着转述一下。

在antlr4 lexer中，如何有一个规则来捕获所有剩余的“单词”作为未知的令牌？

将未知项添加到将与这些项的倍数匹配的lexer中...

unknowns : Unknown+ ; 
...
Unknown  : . ; 

答案指出，您重写了NextToken方法，并详细介绍了如何执行该操作

@Override
public Token nextToken() {    

代码中重要的部分是...

Token next = super.nextToken();

if(next.getType() != Unknown) {
  return next;
}

之后的代码处理可以匹配坏令牌的情况。