Java8批次处理作业[副本]

Question

我有一个MyObject流，我想将它批量持久化到DB中(不是一个接一个，而是一次1000个)。所以我想做一个转变，就像

Stream<MyObject> ---> Stream<List<MyObject>>

其中每个列表都有一些固定大小的批处理大小。有没有办法用标准的Java 8 Stream API做到这一点？

Answer 1

编辑：下面的原始解决方案不起作用，因为java流不允许在同一流上调用跳过或限制多次。我最终进行了简单的处理，例如

    final AtomicInteger counter = new AtomicInteger();

    List<T> entityBatch = new ArrayList<>();

    entityStream.forEach(entity -> {
        if (counter.intValue() = batchSize) {
            processBatch(entityBatch);

            entityBatch.clear();
            counter.set(0);
        }

        entityBatch.add(entity);
        counter.incrementAndGet();
    });

    if (!entityBatch.isEmpty()) {
        processBatch(entityBatch);
    }

原始解决方案:看起来我找到了这样做的方法:

<T> Stream<List<T>> batchStream(Stream<T> stream, int batchSize) {
    return Stream.iterate(stream, s -> s.skip(batchSize)).map(s -> s.limit(batchSize).collect(toList()));
}