我如何懒惰地连接流？

Question

我正在尝试实现一个流，该流在其实现中使用自身的另一个实例。流前面有几个常量元素（使用IntStream.concat），所以只要连接的流懒散地创建非常量部分，这就可以工作。我想使用StreamSupport。intStream重载使用intStream获取供应商。concat（它“创建一个懒散连接的流”）应该足够懒惰，只在需要元素时创建第二个拆分器，但即使创建流（而不是计算流）也会溢出堆栈。我如何懒散地连接流？

我正试图将这个答案中的流式质数筛移植到Java中。这个sieve使用了它自身的另一个实例(Python代码中的< code > PS = deferred _ sieve())。如果我打破了最初的四个常量元素(< code > yield 2；产量3；产量5；产量7；)到它们自己的流中，很容易将生成器实现为一个拆分器:

/**
 * based on https://stackoverflow.com/a/10733621/3614835
 */
static class PrimeSpliterator extends Spliterators.AbstractIntSpliterator {
    private static final int CHARACTERISTICS = Spliterator.DISTINCT | Spliterator.IMMUTABLE | Spliterator.NONNULL | Spliterator.ORDERED | Spliterator.SORTED;
    private final Map<Integer, Supplier<IntStream>> sieve = new HashMap<>();
    private final PrimitiveIterator.OfInt postponedSieve = primes().iterator();
    private int p, q, c = 9;
    private Supplier<IntStream> s;
    PrimeSpliterator() {
        super(105097564 /* according to Wolfram Alpha */ - 4 /* in prefix */,
                CHARACTERISTICS);
        //p = next(ps) and next(ps) (that's Pythonic?)
        postponedSieve.nextInt();
        this.p = postponedSieve.nextInt();
        this.q = p*p;
    }

    @Override
    public boolean tryAdvance(IntConsumer action) {
        for (; c > 0 /* overflow */; c += 2) {
            Supplier<IntStream> maybeS = sieve.remove(c);
            if (maybeS != null)
                s = maybeS;
            else if (c < q) {
                action.accept(c);
                return true; //continue
            } else {
                s = () -> IntStream.iterate(q+2*p, x -> x + 2*p);
                p = postponedSieve.nextInt();
                q = p*p;
            }
            int m = s.get().filter(x -> !sieve.containsKey(x)).findFirst().getAsInt();
            sieve.put(m, s);
        }
        return false;
    }
}

我第一次尝试 primes（） 方法返回一个 IntStream 将常量流与新的 PrimeSpliterator 连接起来：

public static IntStream primes() {
    return IntStream.concat(IntStream.of(2, 3, 5, 7),
            StreamSupport.intStream(new PrimeSpliterator()));
}

调用primes（）会导致StackOverflowError，因为primes（）总是实例化PrimeSpliterator，但PrimeSpliterator的字段初始值设定项总是调用primes（）。但是，StreamSupport.intStream 的重载需要供应商，这应该允许懒惰地创建 PrimeSpliterator：

public static IntStream primes() {
    return IntStream.concat(IntStream.of(2, 3, 5, 7),
            StreamSupport.intStream(PrimeSpliterator::new, PrimeSpliterator.CHARACTERISTICS, false));
}

但是，我反而得到了一个带有不同回溯的 StackOverflowError （修剪，因为它重复）。请注意，递归完全是在对 primes（） 的调用中——终端操作 iterator（） 永远不会在返回的流上调用。

Exception in thread "main" java.lang.StackOverflowError
    at java.util.stream.StreamSpliterators$DelegatingSpliterator$OfInt.<init>(StreamSpliterators.java:582)
    at java.util.stream.IntPipeline.lazySpliterator(IntPipeline.java:155)
    at java.util.stream.IntPipeline$Head.lazySpliterator(IntPipeline.java:514)
    at java.util.stream.AbstractPipeline.spliterator(AbstractPipeline.java:352)
    at java.util.stream.IntPipeline.spliterator(IntPipeline.java:181)
    at java.util.stream.IntStream.concat(IntStream.java:851)
    at com.jeffreybosboom.projecteuler.util.Primes.primes(Primes.java:22)
    at com.jeffreybosboom.projecteuler.util.Primes$PrimeSpliterator.<init>(Primes.java:32)
    at com.jeffreybosboom.projecteuler.util.Primes$$Lambda$1/834600351.get(Unknown Source)
    at java.util.stream.StreamSpliterators$DelegatingSpliterator.get(StreamSpliterators.java:513)
    at java.util.stream.StreamSpliterators$DelegatingSpliterator.estimateSize(StreamSpliterators.java:536)
    at java.util.stream.Streams$ConcatSpliterator.<init>(Streams.java:713)
    at java.util.stream.Streams$ConcatSpliterator$OfPrimitive.<init>(Streams.java:789)
    at java.util.stream.Streams$ConcatSpliterator$OfPrimitive.<init>(Streams.java:785)
    at java.util.stream.Streams$ConcatSpliterator$OfInt.<init>(Streams.java:819)
    at java.util.stream.IntStream.concat(IntStream.java:851)
    at com.jeffreybosboom.projecteuler.util.Primes.primes(Primes.java:22)
    at com.jeffreybosboom.projecteuler.util.Primes$PrimeSpliterator.<init>(Primes.java:32)
    at com.jeffreybosboom.projecteuler.util.Primes$$Lambda$1/834600351.get(Unknown Source)
    at java.util.stream.StreamSpliterators$DelegatingSpliterator.get(StreamSpliterators.java:513)
    at java.util.stream.StreamSpliterators$DelegatingSpliterator.estimateSize(StreamSpliterators.java:536)
    at java.util.stream.Streams$ConcatSpliterator.<init>(Streams.java:713)
    at java.util.stream.Streams$ConcatSpliterator$OfPrimitive.<init>(Streams.java:789)
    at java.util.stream.Streams$ConcatSpliterator$OfPrimitive.<init>(Streams.java:785)
    at java.util.stream.Streams$ConcatSpliterator$OfInt.<init>(Streams.java:819)
    at java.util.stream.IntStream.concat(IntStream.java:851)
    at com.jeffreybosboom.projecteuler.util.Primes.primes(Primes.java:22)

我如何能够懒散地连接流以允许流在其实现中使用其自身的另一个副本？

Answer 1

我喜欢使用供应商来做到这一点：

return Stream.<Supplier<Stream<WhatEver>>of(
  () -> generateStreamOfWhatEverAndChangeSomeState(input, state),
  () -> generateStreamOfMoreWhatEversDependendingOnMutatedState(state)
).flatMap(Supplier::get);

由于 stream 是延迟计算的，因此 generateStreamOfWhatEverAndChangeSomeState（） 将在 generateStreamOfMoreWhatEversDependendingOnMutatedState（） 开始之前完成，并且状态将被更新。

我应该注意到，这可能不是Stream的设计者所想的。理想情况下，＜code＞流＜/code＞不应该改变状态，只读取每个项目并生成一个新项目。

Answer 2

您显然假设Streams API将其懒惰的保证扩展到拆分器的实例化；这是不正确的。它希望能够在实际消耗开始之前的任何时间实例化流的拆分器，例如，只需找出流的特性和报告的大小。消费仅通过调用trySplit、tryAdvanceforEachRemaining开始。

考虑到这一点，您正在比需要更早地初始化推迟的筛子。在其他如果在try Advance中的部分之前，您不能使用它的任何结果。因此，将代码移动到最后可能的时刻，以提供正确性：

@Override
public boolean tryAdvance(IntConsumer action) {
    for (; c > 0 /* overflow */; c += 2) {
        Supplier<IntStream> maybeS = sieve.remove(c);
        if (maybeS != null)
            s = maybeS;
        else {
            if (postponedSieve == null) {
              postponedSieve = primes().iterator();
              postponedSieve.nextInt();
              this.p = postponedSieve.nextInt();
              this.q = p*p;
            }
            if (c < q) {
              action.accept(c);
              return true; //continue

我认为，有了这个更改，即使您第一次尝试primes（）也应该可以工作。

如果您想继续使用当前的方法，您可以使用以下习语：

Stream.<Supplier<IntStream>>of(
  ()->IntStream.of(2, 3, 5, 7),
  ()->intStream(new PrimeSpliterator()))
.flatMap(Supplier::get);

你可能会发现这给了你足够的懒惰。