使用ANTLR4计数令牌

Question

我需要编写一个Java程序，使用ANTLR4，在给定一个源文件和一个方法的情况下，可以计算变量、运算符、标点符号和保留字的数量。

如何使用ANTLR4根据标记的类型对其计数？

Answer 1

在做了一些研究之后，并基于奥詹·杜兹，我意识到我需要两种技术：

• 运算符、保留字和标点符号可以使用ANTLR4 lexer进行计数，因为它们可以在源代码中识别，而无需将它们放到上下文中。
• 变量（以及常量、方法、类…)可以使用ANTLR4解析器计算，因为识别它们需要解析和理解这些标识符出现在。
中的上下文

为了所有将来需要做类似事情的人，下面是我的做法：

public static final AtomicInteger count = new AtomicInteger();

/**
 * Implementation of the abstract base listener
 */
public static class MyListener extends JavaBaseListener {
    /**
     * Overrides the default callback called whenever the walker has entered a method declaration.
     * This raises the count every time a new method is found
     */
    @Override
    public void enterMethodDeclaration(JavaParser.MethodDeclarationContext ctx) {
        count.incrementAndGet();
    }
}

4）创建Lexer、Parser、ParseTree和parsetreewalker：

• lexer-从头到尾遍历代码，并将其拆分为“令牌”--标识符、文字、运算符等。每个令牌都有一个名称和一个类型。类型列表可以在lexer文件的开头找到（在我们的例子中是javalexer.java)
• 解析器--使用lexer的输出构建表示代码的AST（抽象语法树）。这样，除了标记源代码外，还可以理解每个标记出现在哪个上下文中。
• 解析树-您的整个代码的AST或它的子树
• ParsetreeWalker-允许“遍历”树的对象，这基本上意味着分层扫描代码，而不是从头到尾

然后，最后，实例化您的侦听器并遍历解析树。

public static void main(String... args) throws IOException {
    JavaLexer lexer = new JavaLexer(new ANTLRFileStream(sourceFile, "UTF-8"));
    JavaParser parser = new JavaParser(new CommonTokenStream(lexer));
    ParseTree tree = parser.compilationUnit();

    ParseTreeWalker walker = new ParseTreeWalker();
    MyListener listener = new MyListener();
    walker.walk(listener, tree);
}

private List<Token> tokenizeMethod(String method) {
    JavaLexer lex = new JavaLexer(new ANTLRInputStream(method));
    CommonTokenStream tokStream = new CommonTokenStream(lex);
    tokStream.fill();

    return tokStream.getTokens();
}


/**
 * Returns the number of reserved words inside the given method, using lexical analysis
 * @param method The method text
 */
private int countReservedWords(String method) {
    int count = 0;

    for(Token t : tokenizeMethod(method)) {
        if(t.getType() <= JavaLexer.WHILE) {
            count++;
        }
    }

    return count;
}

/**
 * Returns the number of variable declarations inside the given method, by parsing the method's AST
 * @param method The method text
 */
private int countVariableDeclarations(String method) {
    JavaLexer lex = new JavaLexer(new ANTLRInputStream(method));
    JavaParser parse = new JavaParser(new CommonTokenStream(lex));
    ParseTree tree = parse.methodDeclaration();

    ParseTreeWalker walker = new ParseTreeWalker();
    final AtomicInteger count = new AtomicInteger();
    walker.walk(new JavaBaseListener() {
        @Override public void enterLocalVariableDeclaration(JavaParser.LocalVariableDeclarationContext ctx) {
            count.incrementAndGet();
        }
    }, tree);

    return count.get();
}