我如何在Java写一个正确的微基准？

Question

如何在Java编写（并运行）一个正确的微基准？

我正在寻找一些代码示例和注释，说明各种事情，以供思考。

示例：基准应该测量时间/迭代还是迭代/时间，为什么？

相关：秒表对标可以接受吗？

Answer 1

来自Java热点创建者的关于编写微基准测试的提示：

规则0：阅读一篇关于JVM和微基准测试的著名论文。一个很好的是布莱恩戈茨，2005年。不要对微基准期望过高；它们只测量有限范围的JVM性能特征。

规则1：始终包含一个热身阶段，它运行测试内核，足以在计时阶段之前触发所有初始化和编译。（在热身阶段，较少的迭代是可以的。经验法则是几万次内循环迭代。）

规则2：始终使用-xx:+printcompility、-verbose:gc等运行，这样您就可以验证编译器和JVM的其他部分在计时阶段没有执行意外的工作。

规则2.1：在计时和预热阶段的开始和结束时打印消息，因此您可以验证在计时阶段没有规则2的输出。

规则3：注意-client和-server以及OSR和常规编译之间的区别。-xx:+printcompility标志使用AT符号报告OSR编译，以表示非初始入口点，例如:trouble$1::run@2(41bytes)。如果你想要最好的性能，更喜欢服务器而不是客户机，更喜欢常规的而不是OSR。

规则4：注意初始化效果。不要在计时阶段第一次打印，因为打印会加载并初始化类。不要在预热阶段（或最终报告阶段）之外加载新的类，除非您专门测试类加载（在这种情况下，只加载测试类）。规则2是你抵御这种影响的第一道防线。

规则5：注意去优化和重新编译的影响。在计时阶段，不要第一次使用任何代码路径，因为编译器可能会根据早先的乐观假设（即该路径根本不会被使用）丢弃并重新编译代码。规则2是你抵御这种影响的第一道防线。

规则6：使用适当的工具读懂编译器的心思，并期望对它产生的代码感到惊讶。在形成关于什么使某件事情变快或变慢的理论之前，请亲自检查代码。

规则7：减少测量中的噪音。在一个安静的机器上运行您的基准测试，并且运行它几次，丢弃离群值。使用-XBatch将编译器与应用程序序列化，并考虑设置-XX:CICompilerCount=1以防止编译器与自身并行运行。尽量减少GC开销，设置xmx（足够大）等于xms并使用useepsilongc（如果可用）。

规则8：使用库作为您的基准，因为它可能更有效，并且已经为此目的调试过了。如JMH、Caliper或Bill and Paul的UCSD优秀Java基准。