带状态的Flink窗口聚合

Question

我想使用早期触发逻辑进行窗口聚合(您可以认为聚合是由窗口关闭或特定事件触发的)，我阅读了文档:https://ci . Apache . org/projects/flink/flink-docs-release-1.12/dev/stream/operators/windows . html # incremental-window-aggregate-with-aggregate function

文档提到< code >注意到使用ProcessWindowFunction进行简单的聚合(如计数)是非常低效的。因此，建议与增量窗口聚合配合使用。

我的问题是，在文档中，状态不会保存在任何地方，所以如果应用程序崩溃，averageAggregate会失去所有的中间值，对吧？

那么，如果是这种情况，有没有办法进行窗口聚合，仍然支持增量聚合，并且有一个状态后端可以从崩溃中恢复？

Answer 1

< code>AggregateFunction实际上只是描述了将输入事件组合成某个结果的机制，该特定类不存储任何数据。

当我们写下这样的东西时，Flink在幕后为我们保留了这种状态：

input
  .keyBy(<key selector>)
  .window(<window assigner>)
  .aggregate(new AverageAggregate(), new MyProcessWindowFunction());

的代码。

在崩溃或重启的情况下，不会丢失任何数据（假设状态后端配置正确）：与Flink state的其他部分一样，此处的状态将从状态后端检索，或从上游数据的第一原理重新计算。