Flink流窗口内存使用情况

Question

我正在评估Flink是否支持流媒体窗口以生成可能的警报。我关心的是内存使用情况，如果有人能帮我，我将不胜感激。

例如，该应用程序将在给定的滚动窗口（例如5分钟）内消耗流中潜在的大量数据。在评估时，如果例如有一百万个文档符合标准，它们会全部加载到内存中吗？

一般流程为：

<代码>制作人-

此外，如果有一些清晰的文档描述了在这些情况下如何处理内存，那么我可能忽略了有人可能会指出这一点，这将很有帮助。

谢谢

Answer 1

为组窗口聚合存储的数据量取决于聚合的类型。许多聚合函数，如计数、求和和和最小值可以预先聚合，也就是说，它们只需要在每个窗口中存储一个值。其他聚合函数，如中值或某些用户定义的聚合函数，需要存储所有值，然后才能计算结果。

聚合需要存储的数据存储在状态后端。根据状态后端的选择，数据可能存储在JVM堆的内存中，也可能存储在RocksDB实例的磁盘上。

表API查询也由关系优化器（基于Apache Calcite）优化，以便将过滤器尽可能推向源。根据谓词的不同，可能会在聚合之前应用过滤器。

最后，您需要在示例查询中的window（）和select（）之间添加一个groupBy（）（请参阅文档中的示例）。