ANTLR4 Lexer错误报告（违规字符的长度）

Question

我正在为使用ANTLR4的某种语言开发一个小型IDE，当lexer无法匹配错误字符时，我需要在错误字符下划线。在这种情况下，内置的org.antlr.v4.runtime.antlrerrorlistener实现向stderr输出一条消息，类似于如下所示：

line 35:25 token recognition error at: 'foo\n'

我完全可以理解如何获得关于错误的行和列的信息（作为参数传递给SyntaxError回调），但如何在回调中获得'foo\n'字符串？

当解析器是错误的来源时，它会将违规令牌作为syntaxerror回调的第二个参数传递，因此提取关于错误输入的开始和停止偏移量的信息变得很简单，参考书中也对此进行了解释。但是当来源是一个lexer的情况下呢？在本例中，回调中的第二个参数为null，这可能是因为lexer未能形成令牌。

我需要不匹配字符的长度来知道下划线的大小，但是在调试我的侦听器实现时，我在提供的回调参数中找不到这个信息（除了通过字符串操作从提供的错误消息中提取它，这将是错误的）。'foo\n'字符串显然是以某种方式获得的，那么我遗漏了什么呢？

我怀疑我可能找错了地方，我应该考虑扩展DefaultErrorStrategy，以便形成错误消息。

Answer 1

您应该在编写lexer时避免出现语法错误。在ANTLR4中，只需添加以下作为lexer的最后一条规则，就可以很容易地做到这一点：

ErrorChar : . ;

通过这样做，您的错误将从lexer移到解析器。

在某些情况下，当用户在IDE中编辑代码时，您可以采取其他步骤来帮助他们。例如，假设您的语言支持以下形式的双引号字符串，这些字符串不能跨多行：

StringLiteral : '"' ~[\r\n"]* '"';

StringLiteral : '"' ~[\r\n"]* '"';
UnterminatedStringLiteral : '"' ~[\r\n"]*;

然后可以重写emit()方法，以特殊方式处理UnterminatedStringLiteral。结果，用户会看到一个很大的错误消息，解析器会看到一个它通常可以很好处理的stringliteral标记。

@Override
public Token emit() {
    switch (getType()) {
    case UnterminatedStringLiteral:
        setType(StringLiteral);
        Token result = super.emit();
        // you'll need to define this method
        reportError(result, "Unterminated string literal");
        return result;
    default:
        return super.emit();
    }
}