Java算法时间度量

Question

我的问题是，当我试图获得算法执行时间的准确测量值时，一旦第一组测试完成，结果就会相差很大。

我有7个带整数的文本文件，每个文本文件有两个元素的幂。

2^{4=16
28=256
212=4096
216=65536
220=1048576
222=4194304
224=16777216}

我运行这些测试X次以获得执行时间。一个测试用例被认为执行了上述所有测试一次。我在不改变文本文件数据的情况下做了几次。

为了测量我的算法执行时间，我使用系统。纳米时间（）；

        long start = System.nanoTime();
        (Algorithm)
        long elapsedNanoTime = System.nanoTime() - start;

然而，结果显示，在执行第一个测试用例之后，开始测试16和256的测试数量大幅下降。

测试用例，迭代1：

16个元素取325336n
256个元素取414861n
4096个元素取2061728n
65536个元素取21111426n
1048576个元素取326898979n
4194304个元素取1487154649n
16777216个元素取6700800203n

测试用例，迭代2：

16个元素需要2925n
256个元素需要36864n
4096个元素需要885603n
65536个元素需要15839933n
1048576个元素需要332000198n
4194304个元素需要1484967410n
16777216个元素需要6695675287n

测试用例，迭代3：

16个元素需要2926n
256个元素需要35985n
4096个元素需要679635n
65536个元素需要15462227n
1048576个元素需要328179551n
4194304个元素需要1483733064n
16777216个元素需要6704160641n

如果我单独运行每个测试用例，“编译”程序，只做7个测试，结果都与上面的迭代1类似。

那么，对于为什么执行时间不同于第一个测试用例和其他测试用例，有人有什么见解吗？它是否与程序的初始化有关，或者内存已经在某个地方分配了数据？因为到目前为止，我不确定哪个执行时间数据是正确的。

提前感谢。

Answer 1

考虑使用jmh作为微基准测试的框架。正如@dimo414的答案所指出的，JVM很难进行基准测试。

Answer 2

基准测试很难，你偶然发现了一个更常见的麻烦案例；JIT编译器。JVM实际上负责编译在运行时运行的一些代码，以便进一步优化字节码，而不是编译器本身所能做到的。

描述如何确保基准测试是准确的超出了答案的范围（但有很多资源），但对于这个特定问题，您想要做的是多次运行基准测试（在同一个JVM中），并将前几次运行作为噪声丢弃。一旦基准测试运行了几次，JIT将有机会为您优化代码，并且可能不会在后续运行中进行更多优化。