在一个基准内使用大范围输入

Question

我想为一些地图实现编写一个基准测试，包括一个自定义实现。我想测试它在广泛的输入范围内的平均行为。

因为这是我第一次使用JMH，所以使用@Param看起来是显而易见的选择。但事实证明，JMH不会在一个基准测试中使用所有这些不同的输入，而是会为每一组参数运行单独的基准测试。

是否有一些我缺少的功能，或者只是在我的基准测试中循环输入的范围，这是正确的做法？

更新：

我实现了2个不同的基准，给出了完全相反的比较结果（注意：这是使用3d坐标作为键的特殊Map（不实现Map界面））。

>

在基准测试的输入范围内循环

@Benchmark
public void benchmarkGet(Blackhole bh){
    //8*20 different starting positions
    for(int i = 0;i < 8 * 20;i++){

        for(int x = 0;x < 20;x++){
            for(int y = 0;y < 20;y++){
                for(int z = 0;z < 20;z++){
                    Object value = map.get(x + offsets[i][0], y + offsets[i][1], z + offsets[i][2]));
                    bh.consume(value);
                }
            }
        }
    }
}

每次仅获取1个值，并使用状态每次获取不同的值：

@Benchmark
@OutputTimeUnit(value = TimeUnit.MICROSECONDS)
public void benchmarkGet(Blackhole bh) {
    Object value = map.get(x + offsets[i][0], y + offsets[i][1], z + offsets[i][2]));
    bh.consume(value);
    x++;
    if (x > 20) {
        y++;
        x = 0;
        if (y > 20) {
            z++;
            y = 0;
            if (z > 20) {
                i++;
                z = 0;
                if (i >= 8*20) {
                    i = 0;
                }
            }
        }
    }
}

哪一个是正确的？

Answer 1

JMH基准测试试图非常精确地测量特定代码段的性能。

只有当问题包括哪些输入时，才能回答哪个实现更快的问题，因为答案可能不同。要知道哪种实现平均速度更快，您需要知道必须平均的输入。

正因为如此，说这两种实现总体上都更快是不可能的，JMH没有试图回答这个问题。

你在问JMH你想问的问题时遇到了问题，哪一个“总的来说”更快，因为JMH认为这是一个错误的问题，并且很难问它错误的问题。

事实上，正确的实现是使用具有不同值的Param，获得不同的基准，基准测试的结果就是从中得到的答案范围。

在研究了基准测试的结果后，您的结果可能看起来像是第一个算法对于某些范围内的小输入要快x得多，但是对于某些范围内的大输入要慢x得多。你从中得出什么结论，哪一个对你的用例来说更快，这必须由用例来得出。