在JMH中恢复每个基准测试后的Java列表状态

Question

我想制作一个基准来测量插入List的时间，比较ArrayList和LinkedList并使用不同的初始大小。所以我使用JMH为这些目标创建了一个基准：

@Warmup(iterations = 3, time = 1, timeUnit = TimeUnit.SECONDS)
@Measurement(iterations = 5, time = 2, timeUnit = TimeUnit.SECONDS)
@Fork(value = 3, jvmArgsAppend = {"-XX:+UseParallelGC", "-Xms1g", "-Xmx1g"})
@BenchmarkMode(Mode.AverageTime)
@OutputTimeUnit(TimeUnit.NANOSECONDS)
@State(Scope.Benchmark)
public class ListBench {

    @Param({"100", "1000", "10000", "100000"})
    int size;

    @Param({"arraylist", "linkedlist"})
    String type;

    private List<Item> target;

    private Item insert;

    @Setup
    public void setup() {
        this.target = switch (this.type) {
            case "arraylist" -> new ArrayList<>();
            case "linkedlist" -> new LinkedList<>();
            default -> {
                throw new IllegalStateException(String.format("target is `%s`", this.target));
            }
        };
        IntStream.range(0, this.size).mapToObj(Item::new).forEach(this.target::add);
        this.insert = new Item(-1);
    }

    @Benchmark
    public void insertFirst() {
        this.target.add(0, this.insert);
    }

    @Benchmark
    public void insertMiddle() {
        this.target.add(this.size / 2, this.insert);
    }

    @Benchmark
    public void insertLast() {
        this.target.add(this.insert);
    }

    static class Item {

        private final int val;

        Item(final int val) {
            this.val = val;
        }

        // + equals and hashCode
    }
}

这个基准测试的问题是，它在迭代之间共享一个状态，因此初始大小100会多次调用insertFirst，并增加目标的大小。每次调用之前，我都会查看@Setup（Level.Invocation）来初始化target，但是javadocs中的警告说它不适合我的情况：

此级别仅适用于每次{@link Benchmark}方法调用超过一毫秒的基准测试。在临时的基础上验证对您的案例的影响也是一个好主意。

每次插入都不到一毫秒，比设置更快。

我能用JMH做些什么来只测量add调用不同的目标和大小，每次调用使用相同大小的目标？

Answer 1

您应该将您的状态作为参数传递给每个基准测试，同样为了避免死代码消除，您应该传递一个黑洞或在每个基准测试方法中返回值。为了更好地理解，请参阅以下代码片段：

import org.openjdk.jmh.annotations.Benchmark;
import org.openjdk.jmh.annotations.Param;
import org.openjdk.jmh.annotations.Scope;
import org.openjdk.jmh.annotations.State;
import org.openjdk.jmh.infra.Blackhole;

import java.util.ArrayList;
import java.util.LinkedList;
import java.util.List;

public class MyBenchmark {

    @State(Scope.Benchmark)
    public static class ArrayListState {

        @Param({"100", "1000", "10000", "100000"})
        int size;

        private List<Item> target = new ArrayList<>();
    }

    @State(Scope.Benchmark)
    public static class LinkedListState {

        @Param({"100", "1000", "10000", "100000"})
        int size;

        private List<Item> target = new LinkedList<>();
    }

    @Benchmark
    public void arrayListBenchmark(ArrayListState state, Blackhole blackhole) {
        for (int i = 0; i < state.size; i++) {
            state.target.add(new Item(-1));
        }
        // rest of the code to be measured
        blackhole.consume(state);
    }

    @Benchmark
    public void linkedListBenchmark(LinkedListState state, Blackhole blackhole) {
        for (int i = 0; i < state.size; i++) {
            state.target.add(new Item(-1));
        }
        // rest of the code to be measured
        
        blackhole.consume(state);
    }


    static class Item {

        private final int val;

        Item(final int val) {
            this.val = val;
        }

        // + equals and hashCode
    }

}