为什么这个语法不能解析这个输入？

Question

function aFunctionHere(int a, function callback) ....

然而，Antlr似乎不喜欢我在两个不同的地方使用“函数”。据我所知，语法甚至没有歧义。

在下面的语法中，如果我删除第1行，生成的解析器解析示例输入没有问题。另外，如果我更改第2行或第3行中的令牌字符串，使它们不相等，解析器就会工作。

我得到的语法错误是：

grammar test;

begin : function ;

function: FUNCTION IDENTIFIER '(' parameterlist? ')' ;

parameterlist: parameter (',' parameter)+ ;

parameter: BaseParamType IDENTIFIER ;

// Lexer stuff

BaseParamType:
      INT_TYPE
    | FUNCTION_TYPE // <---- LINE 1
    ;

FUNCTION : 'function'; // <---- LINE 2

INT_TYPE : 'int';
FUNCTION_TYPE : 'function'; // <---- LINE 3

IDENTIFIER : [a-zA-Z_$]+[a-zA-Z_$0-9]*;

WS : [ \t\r\n]+ -> skip ;

测试生成的解析器的程序：

from antlr4 import *
from testLexer import testLexer as Lexer
from testParser import testParser as Parser
from antlr4.tree.Trees import Trees

def main(argv):
    input = FileStream(argv[1] if len(argv)>1 else "test.in")
    lexer =  Lexer(input)
    tokens = CommonTokenStream(lexer)
    parser = Parser(tokens)

    tree = parser.begin()

    print Trees.toStringTree(tree, None, parser)


if __name__ == '__main__':
    import sys
    main(sys.argv)

Answer 1

只需为令牌函数使用一个名称。

代币只是代币。孤立地查看函数，无法确定它是函数还是function_type。因为函数位于文件的第一位，所以lexer使用了这个函数。这使得无法匹配function_type，从而成为无效的令牌类型。

解析器将找出标记函数的语法角色。因此，即使有可能使用两个不同的词法描述符来表示相同的意思，也是没有意义的。

grammar test;  
begin : function ;
function: FUNCTION IDENTIFIER '(' parameterlist? ')' ;
parameterlist: parameter (',' parameter)+ ;
parameter: baseParamType IDENTIFIER ;

// Lexer stuff
baseParamType:
      INT_TYPE
    | FUNCTION //
    ;

FUNCTION : 'function';
INT_TYPE : 'int';
IDENTIFIER : [a-zA-Z_$]+[a-zA-Z_$0-9]*;
WS : [ \t\r\n]+ -> skip ;