修正了JMH迭代次数和分叉次数之间的平衡

Question

我正在探索OpenJDK JMH测试我的代码。根据我的理解，默认情况下，JMH会派生多个JVM，以保护测试不受之前收集的“概要文件”的影响。这个示例代码对此做了很好的解释。

但是，我的问题是，如果我使用以下两种方法执行，我将对结果产生什么影响：

1） 有 1 个分叉，100 次迭代 2） 有 10 个分叉，每个分叉 10 次迭代

哪种方法会给出更准确的结果？

Answer 1

这取决于每次分叉与每次迭代的结果差异有多大，这是特定于工作负载的。

如果你想要一个严格的统计方法来弄清楚这种权衡，看看“在合理的时间内进行严格的基准测试”（Kalibera，Jones）。等式 3 通过使用观察到的分叉之间和迭代之间的差异，给出了每个级别的最佳计数（在您的情况下，这些计数是要运行的分叉数和每个分叉的迭代次数）。

Answer 2

这要视情况而定。需要多个分叉来估计运行之间的差异，请参阅JMHSample_13_RunTo_Run。因此，单个分叉肯定更糟。然后，如果你问什么更好：10x100运行或100x10运行，这再次取决于更糟糕的问题是什么 - 运行间差异，或运行中差异。