Apache flink从后期窗口访问键控状态

Question

我正在编写一个Flink应用程序，它使用kafka主题中的时间序列数据。时间序列数据包含度量名称、标记键值对、时间戳和值等组件。我已经创建了一个滚动窗口来根据度量键（度量名称、键值对和时间戳的组合）聚合数据。这里是主流看起来像

kafka source -> Flat Map which parses and emits Metric ->  Key by metric
key  -> Tumbling window of 60 seconds -> Aggregate the data -> write to the
sink.

我还想检查是否有任何指标在上面的窗口外迟到。我想检查有多少指标延迟到达，并计算延迟指标与原始指标相比的百分比。我正在考虑使用flink的“允许延迟”功能将延迟指标发送到不同的流。我计划在主“聚合数据”运算符中添加一个“MapState”，它将把键作为度量键，把值作为到达主窗口的度量的计数。

kafka source -> Flat Map which parses and emits Metric -> Key by metric key
->  Tumbling window of 60 seconds -> Aggregate the data (Maintain a map
state of metric count) -> write to the sink.

                                                   \

                                                    \

                                                  Late data -> Key by
 metric key ->  Collect late metrics and find the percentage of late metrics
 -> Write the result in sink

我的问题是“收集后期指标并找到后期指标的百分比”运算符能否访问主流更新的“MapState”。即使它们由相同的度量键键键控，我想它们是两个不同的任务。我想计算（延迟度量的数量/（延迟度量的数量按时到达的度量的数量））。

Answer 1

有几种不同的方法可以实现这一点。

您可以将每个窗口的状态html" target="_blank">存储在传递给WindowProcessFunction的上下文提供的KeyedStateStore WindowsState（）中。与allowedLateness结合使用，您可以在发生延迟点火时计算延迟事件统计信息。（这种方法不需要MapState，因为WindowsState的作用域已经限定为特定的窗口和特定的键。ValueState就足够了。）

另一个想法是从主窗口捕获延迟事件的侧面输出流，并通过另一个窗口发送这些延迟事件，该窗口在某个时间范围内对它们进行计数。然后将延迟事件分析流和第一个（主）窗口的输出发送到KeyedCoProcessFunction（或RichCoFlatMap）中，该函数可以计算延迟事件与实时事件的统计信息。（此处需要MapState，因为可能需要为键控流的每个键同时打开多个窗口。）

或者，您可以使用一个简单的处理函数将初始流拆分为两个（通过将时间戳与当前水印进行比较）——一个用于延迟事件，另一个用于非延迟事件——然后使用Flink SQL计算所有统计信息。

或者只是实现整个事情在一个KeyedProcessFunction。https://ci.apache.org/projects/flink/flink-docs-stable/docs/learn-flink/event_driven/一个例子。