JMH多重基准测试独立运行的不同结果

Question

我通过JMH进行了一些基准测试

假设我在一个Java文件中列出了三个基准测试

    @Benchmark
    @Threads(value = 2)
    @Warmup(iterations = 10)
    @Fork(value = 2)
    @Measurement(iterations = 10)
    public String benchmarkA() {
        ...
    }

    @Benchmark
    @Threads(value = 2)
    @Warmup(iterations = 10)
    @Fork(value = 2)
    @Measurement(iterations = 10)
    public String benchmarkB() {
       ...
    }

    @Benchmark
    @Threads(value = 2)
    @Warmup(iterations = 10)
    @Fork(value = 2)
    @Measurement(iterations = 10)
    public String benchmarkC() {
        ...
    }

每种方法都对服务于相同目的的不同算法进行基准测试。当我一起运行所有基准测试时，与逐个运行基准测试相比，结果会有所不同。

例如，在Java文件上仅使用onw基准执行JMH运行。

    @Benchmark
    @Threads(value = 2)
    @Warmup(iterations = 10)
    @Fork(value = 2)
    @Measurement(iterations = 10)
    public String benchmarkA() {
        ...
    }

如果只运行此方法，此方法的结果会更好，但是如果使用更多基准，结果会更差。

假设基于结果的基准测试

我还尝试改变基准的顺序（按字典顺序执行），结果是一样的。就好像基准的数量会影响结果一样。

原因是什么？

Answer 1

事实上，CPU频率的动态缩放可能是这个问题的原因之一。

我发现这个问题对准备基准测试环境非常有帮助。

Answer 2

每个基准测试都在自己的JVM中执行（除非明确设置为其他行为），因此不应发生交叉基准测试污染。可能发生的并且非常常见的是CPU的热节流。如果您在无法控制CPU频率的环境中进行基准测试，典型的行为是第一个基准测试将CPU频率推高，然后基准测试将受到限制。您可以通过切换到用户控制的电源调节器并为CPU设置固定频率来控制Linux环境中的此变量。