Flink streaming，“sum”到底是做什么的？

Question

我很难理解流，以workcount为例，对于像Kafka这样的无限源，“sum”到底是做什么的？

DataStream<Tuple2<String, Long>> counts = input
                ......
                .returns(Types.TUPLE(Types.STRING, Types.LONG))
                .keyBy(0)
                .sum(1);

我有点理解有时间窗的情况，因为它有开始和结束时间，对我来说就像一个“批次”，但如果没有时间窗，

1. 什么是开始时间和结束时间

Answer 1

指定的程序将通过SUMGaggregator转换为StreamGroupedReduce。StreamGroupedReduce将持续减少传入的数据流，并在每个传入记录之后输出新的减少值。

在内部，StreamGroupedReduce使用保持当前reduce值的ValueState。每当新记录到达时，通过调用reduce函数（在您的情况下是sumgaggregator）将当前reduce值与传入记录相结合。然后，此操作的结果存储在操作员的ValueState中，并输出给下游消费者。

例如：输入流1, 2, 3, 4, 5在求和时会生成如下输出：1, 3, 5, 9, 14。

如果需要，可以使用keyBy（0）实现相同的行为。进程（…） 。