ANTLR4:输入不匹配

Question

我是ANTLR的新手。我想写一个语法来解析下面的输入：

commit a1b2c3d4

语法如下：：

grammar commit;

file : 'commit' COMMITHASH NEWLINE;

COMMITHASH : [a-z0-9]+;
DATE       : ~[\r\n]+;
NEWLINE    : '\r'?'\n';

当我尝试使用语法解析上述输入时，它会引发以下异常：：

第1行：0不匹配的输入'commit a1b2c3d4'，应为'commit'

我已经引用了ANTLR4:不匹配的输入链接，但仍然不清楚发生了什么。

Answer 1

ANTLR lexer在使用解析器之前完全分配明确的令牌类型。当一个lexer规则比另一个lexer规则匹配更多字符时，ANTLR总是首选匹配更多字符的规则，而不管lexer规则在语法中的出现顺序如何。当两个或多个规则匹配完全相同长度的输入符号时（并且没有其他规则匹配的输入符号超过这个数目），将为语法中首先出现的规则分配标记类型。

您的lexer包含一个规则date，该规则匹配除换行符之外的所有字符。由于它总是与一行的整个文本匹配，并且没有一个令牌跨越多行，因此结果如下：

• 如果单行的整个文本与commit匹配，将生成与此输入序列相对应的未命名标记。
• 如果单行的整个文本与[a-z0-9]+匹配，则将为该行的整个文本创建commithash标记。date也与此输入匹配，但commithash首先出现，因此使用它。
• 否则，如果单行至少包含一个字符，则将为该行的整个文本创建date标记。即使该行以commit或commithash开头，也将使用date规则，因为它匹配的字符序列较长。
• 最后，将为每个换行创建换行符标记。

您需要执行以下操作之一来解决此问题。确切的策略取决于你试图解决的更大的问题。

• 删除日期规则，或重写该规则以匹配更具体的日期格式。
• 使用语义谓词和/或lexer模式来限制输入中可能生成date标记的位置。