JMH-奇怪的基准测试结果

Question

我使用JMH对DOM解析器进行基准测试。我得到了非常奇怪的结果，因为第一次迭代实际上比后面的迭代运行得更快

有人能解释为什么会这样吗？此外，百分位数和所有数字意味着什么？为什么在第三次迭代后它开始变得稳定？一次迭代是否意味着整个基准测试方法的一次迭代？下面是我正在运行的方法

@Benchmark 
@BenchmarkMode(Mode.SingleShotTime) 
@OutputTimeUnit(TimeUnit.MILLISECONDS)
@Warmup(iterations = 13, time = 1, timeUnit = TimeUnit.MILLISECONDS)
public void testMethod_no_attr() {
    try {
        File fXmlFile = new File("500000-6.xml");
        DocumentBuilderFactory dbFactory = DocumentBuilderFactory.newInstance();
        DocumentBuilder dBuilder = dbFactory.newDocumentBuilder();
        Document doc = dBuilder.parse(fXmlFile);
    } catch (Exception  e) {
        e.printStackTrace();  
    }
}

Answer 1

您的屏幕截图缺少直方图输出。你看到的只是直方图的一个百分比。

检查此示例。我们有100次迭代，方法BoolArrayVsBitSetBenchmark#原语的结果是：

Result "de.jawb.jmh.benchmark.example.bool.BoolArrayVsBitSetBenchmark.primitive":
  N = 100
  mean =      0,493 ±(99.9%) 0,003 s/op

  Histogram, s/op:
    [0,490, 0,495) = 93
    [0,495, 0,500) = 3
    [0,500, 0,505) = 1
    [0,505, 0,510) = 1
    [0,510, 0,515) = 0
    [0,515, 0,520) = 0
    [0,520, 0,525) = 1
    [0,525, 0,530) = 0
    [0,530, 0,535) = 0
    [0,535, 0,540) = 0
    [0,540, 0,545) = 0
    [0,545, 0,550) = 0
    [0,550, 0,555) = 0
    [0,555, 0,560) = 1

  Percentiles, s/op:
      p(0,0000) =      0,490 s/op 
     p(50,0000) =      0,491 s/op
     p(90,0000) =      0,494 s/op
     p(95,0000) =      0,496 s/op
     p(99,0000) =      0,558 s/op
     p(99,9000) =      0,559 s/op
     p(99,9900) =      0,559 s/op
     p(99,9990) =      0,559 s/op
     p(99,9999) =      0,559 s/op
    p(100,0000) =      0,559 s/op

第一条直方图线[0490，0495）=93表示93个呼叫属于组max 0490s和min 0494s。注意括号“）”

总而言之，这意味着没有呼叫比0，491 s / op更快，因为

p（00000）=0490秒/操作

最大执行时间为0,559 s/op，因为

p(100，0000)= 0.559s/op

Answer 2

这些百分点是可怕的误导。不要使用它们。

如果你有N = 10，难怪所有的底部值都是相同的。因为你的样本太少了，无法谈论任何像99.999%分位数这样的东西。我在这里实际考虑的唯一值是中位数（50%分位数），最终是IQR（四分位数之间的比率）。

如果你乐观，你会认为你最慢的样本是95%。如果您不太乐观，请将 N=10 的最慢样本视为 90% 分位数。如果你更认真地对待这些估计，你可以把间距视为大约1/sqrt（N-1）的指示，即假设高达33%的运行将比N=10的最慢样本慢。您需要更多的样本来缩小这些估计值的范围！任何超过95%的东西都只是猜测。99% - 你不能回答那里发生的事情。你只是没有足够的数据。

如前所述，这些价值观完全是胡说八道。根据数据，您无法估计P（999999）=某物。这个数字相当于百万分之一的跑步成绩比这个差。但你只做了10次，不要用这个小N来预测如果你有一百万会发生什么。JMH不应该为小N打印这些极端分位数。