Java ANTLR：有一个简单的例子吗？

Question

我想开始使用ANTLR，但是花了几个小时在antlr.org网站上回顾了这些示例之后，我仍然对Java语法没有一个清晰的了解。

是否有一些简单的示例，例如使用ANTLR实现的四运算计算器，经过解析器定义，一直到Java源代码？

Answer 1

注意：此答案适用于ANTLR3！如果你正在寻找ANTLR4的示例，那么此问答将演示如何使用ANTLR4创建简单的表达式解析器和评估器。

你首先创建一个语法。下面是一个小语法，可用于评估使用4个基本数学运算符构建的表达式：+，-，*和/。你也可以使用括号对表达式进行分组。

请注意，此语法只是一个非常基本的语法：它不处理一元运算符（负号：-1 + 9）或小数，如.99（无前导数字），仅列举两个缺点。这只是你可以自己进行工作的一个示例。

这是语法文件Exp.g的内容：

grammar Exp;

/* This will be the entry point of our parser. */
eval
    :    additionExp
    ;

/* Addition and subtraction have the lowest precedence. */
additionExp
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

/* Multiplication and division have a higher precedence. */
multiplyExp
    :    atomExp
         ( '*' atomExp 
         | '/' atomExp
         )* 
    ;

/* An expression atom is the smallest part of an expression: a number. Or 
   when we encounter parenthesis, we're making a recursive call back to the
   rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
    :    Number
    |    '(' additionExp ')'
    ;

/* A number: can be an integer value, or a decimal value */
Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

/* We're going to ignore all white space characters */
WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

（解析器规则以小写字母开头，而词法分析器规则以大写字母开头）

创建语法后，你需要从中生成一个解析器和词法分析器。下载ANTLR jar，并将其存储在与语法文件相同的目录中。

在shell /命令提示符下执行以下命令：

java -cp antlr-3.2.jar org.antlr.Tool Exp.g

它不应产生任何错误消息，并且现在应生成文件ExpLexer.java，ExpParser.java和Exp.tokens。

要查看它们是否正常运行，请创建以下测试类：

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        parser.eval();
    }
}

并编译：

// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java

// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java

然后运行它：

// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo

// Windows
java -cp .;antlr-3.2.jar ANTLRDemo

如果一切顺利，则不会在控制台上打印任何内容。这意味着解析器未发现任何错误。当你更改”12(5-6)”到”12(5-6”，然后重新编译并运行它，应该有打印的情况如下：

line 0:-1 mismatched input '<EOF>' expecting ')'

好的，现在我们想向语法中添加一些Java代码，以便解析器实际执行一些有用的操作。添加代码可以通过将完成{，并}与里面的一些普通的Java代码你的语法内。

但首先：语法文件中的所有解析器规则应返回原始双精度值。你可以通过returns [double value]在每个规则之后添加：

grammar Exp;

eval returns [double value]
    :    additionExp
    ;

additionExp returns [double value]
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

// ...

这几乎不需要解释：每个规则都将返回一个双精度值。现在要与double value代码块内的返回值（不在普通Java代码块内{...}）进行“交互” ，你需要在$前面添加一个美元符号value：

grammar Exp;

/* This will be the entry point of our parser. */
eval returns [double value]                                                  
    :    additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
    ;

// ...

这是语法，但现在添加了Java代码：

grammar Exp;

eval returns [double value]
    :    exp=additionExp {$value = $exp.value;}
    ;

additionExp returns [double value]
    :    m1=multiplyExp       {$value =  $m1.value;} 
         ( '+' m2=multiplyExp {$value += $m2.value;} 
         | '-' m2=multiplyExp {$value -= $m2.value;}
         )* 
    ;

multiplyExp returns [double value]
    :    a1=atomExp       {$value =  $a1.value;}
         ( '*' a2=atomExp {$value *= $a2.value;} 
         | '/' a2=atomExp {$value /= $a2.value;}
         )* 
    ;

atomExp returns [double value]
    :    n=Number                {$value = Double.parseDouble($n.text);}
    |    '(' exp=additionExp ')' {$value = $exp.value;}
    ;

Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

并且由于我们的eval规则现在返回了double，因此将你的ANTLRDemo.java更改为：

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        System.out.println(parser.eval()); // print the value
    }
}

再次（重新）从语法（1）中生成一个新的词法html" target="_blank">分析器和解析器，编译所有类（2）并运行ANTLRDemo（3）：

// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .:antlr-3.2.jar ANTLRDemo            // 3

// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .;antlr-3.2.jar ANTLRDemo            // 3

现在你将看到表达式的结果12*(5-6)打印到控制台上！

再次：这是一个非常简短的解释。我鼓励你浏览ANTLR Wiki，阅读一些教程和/或使用我刚刚发布的内容。

祝好运！

编辑：

这篇文章展示了如何扩展上面的示例，以便Map<String, Double>可以提供一个在所提供的表达式中包含变量的a。

为了使此代码与当前版本的Antlr（2014年6月）一起使用，我需要进行一些更改。ANTLRStringStream需要变为ANTLRInputStream，返回值需要从更改parser.eval()为parser.eval().value，并且我需要最后删除该WS子句，因为$channel不再允许诸如lexer操作中的属性值出现。