有界集合的谷歌云数据流在批处理模式下移动水印吗？

Question

Window.<Map.Entry<Key, Long>>into(
    FixedWindows.of(Duration.standardSeconds(10)))
        .withAllowedLateness(Duration.ZERO)
        .triggering(AfterWatermark.pastEndOfWindow()
            .withEarlyFirings(AfterPane.elementCountAtLeast(10))))
        .discardingFiredPanes()

在窗口之后，每个键组合集合:sum.longsperkey()

问题是，在完全读取集合之前，集合的元素永远不会通过组合器。这是批处理模式下数据流的预期行为吗？我的猜测是Dataflow根本不计算/移动水印，这接近事实吗？

我的问题与GroupByKey转换的早期结果非常相似，但在我的例子中，集合是由一个可拆分的DoFn读取的，其中ProcessContext.UpdateWatermark在每个元素的末尾调用。

Answer 1

是的，这是批处理模式管道的预期行为，而不管使用可拆分DOFN。

通常，所有元素一次（总共）通过每个步骤。一个窗口的结果可能会在其他窗口之前得到处理，但这更多地与容量和分布式执行有关。

最后，GroupByKey，或者在您的示例中是Sum By Key，强制进行洗牌操作，这要求在实际执行SBK转换之前准备好所有数据。