在执行其他操作之前查找流大小

Question

在我的程序中，我反复¹收集Java8流，以将对象集合减少为单个对象。在整个执行过程中，这个集合的大小可能会有很大的变化：从3个对象到数百个对象。

public void findInterestingFoo(Stream<Foo> foos) {
    internalState.update(foos.collect(customCollector()));
}

在优化我的代码和搜索瓶颈的过程中，我在某个点使流并行。这在当时起了作用，因为所有的收藏都相当大。后来，在更改程序的其他部分和参数后，集合变小了。我意识到不让流平行更有效。这是有道理的：为4个对象在多个线程上分配工作的开销根本不值得。不过，对于成百上千的物体来说，这是值得的。

如果我能只让大的溪流平行，那就真的很方便了：

public void findInterestingFoo(Stream<Foo> foos) {
    if (isSmall(foos)) {
        internalState.update(foos.collect(customCollector()));
    } else {
        internalState.update(foos.parallel().collect(customCollector()));
    }
}

当然，当从数组、集合或手动创建流时，可以手动执行此操作。也就是说，我们知道流中的元素，所以这是可以跟踪的。然而，我感兴趣的是以一种通用的方式解决这一问题，这样，无论将哪种流传递给findinterestingfoo，它都能得到适当和尽可能有效的处理。

null

不过，我想知道在对流执行任何操作之前，是否有任何方法可以确定流中有多少元素。流真的不知道它是从有限集合创建的吗？

________
_{¹数千次。在我的例子中，对此进行优化可使总运行时间从1.5秒提高到0.5秒。}

Answer 1

理论上，您可以这样做：

public void findInterestingFoo(Stream<Foo> foos) {
    Spliterator<Foo> sp = foos.spliterator();
    long size = sp.getExactSizeIfKnown();// returns -1 if not known
          // or sp.estimateSize(); // Long.MAX_VALUE means "unknown"
    internalState.update(
        StreamSupport.stream(sp, size > PARALLEL_THRESHOLD)
                     .collect(customCollector()));
}

spliterator()是一个使用输入流的终端操作，但您可以将spliterator传递给StreamSupport.stream以构造具有完全相同属性的流。第二个参数已经告诉流是否应该是并行的。

理论上。

另一个问题是根本性的。元素的数量实际上并不能说明在并行处理中是否会有好处。这取决于每个元素的工作负载，它不仅取决于您的终端collection操作，而且还取决于在进入您的方法之前已经链接到流的操作。即使您认为收集器的工作负载已经足够高，值得并行处理，也可能是传入流具有诸如skip、limit或distinct（在有序流上）之类的操作，这些操作的并行性通常较差，并且需要完全不同的阈值。

更简单的解决方案是让调用方来决定，因为调用方对流的大小和性质有所了解。您甚至不需要在方法的签名中添加一个选项，因为调用方已经可以通过在将流传递给您的方法之前对其调用Parallear()或Sequential()来做出决定，您只需不更改模式就可以尊重这一点。