具有冲突标记的ANTLR行为

Question

在令牌冲突的情况下，如何定义ANTLR lexer行为？让我解释一下“冲突”标记的含义。例如，假设定义了以下内容：

INT_STAGE       :   '1'..'6';
INT             :   '0'..'9'+;

这里有一个冲突，因为在读取一系列数字后，lexer将不知道是有一个INT还是多个INT\u阶段标记（或两者的不同组合）。测试之后，如果INT是在INT\u阶段之后定义的，那么lexer会更喜欢查找INT\u阶段，但可能不是INT？否则，将找不到INT\u阶段。

另一个例子是：

FOOL: ' fool'
FOO: 'foo'
ID              :   ('a'..'z'|'A'..'Z'|'_'|'%') ('a'..'z'|'A'..'Z'|'0'..'9'|'_'|'%')*;

我被告知，这是识别所有标记的“正确”顺序：当阅读“傻瓜”时，lexer将找到一个傻瓜标记，而不是FOO-ID或其他东西。

Answer 1

以下逻辑适用：

1. 词法分析器匹配尽可能多的字符
2. 如果在应用规则1后，有2个或更多规则匹配相同数量的字符，则首先定义的规则将“获胜”

考虑到这一点，输入"1"，"2"，...，"6"被标记为INT_STAGE：INT_STAGE和INT匹配相同数量的字符，但INT_STAGE首先定义。

输入"12"被标记为INT，因为它匹配的字符最多。

我被告知，这是识别所有标记的“正确”顺序：当阅读“傻瓜”时，lexer将找到一个傻瓜标记，而不是FOO-ID或其他东西。

这是正确的。