Flink：在时间窗口中合并所有键的结果

Question

stream
    .keyBy("key")
    .window(<tumbling window of 5 mins>)
    .aggregate(<aggFunc>, <function adding window key and start wd time>)
    ...
    .addSink(sink)

1. (<aggregated val>, key1, <window1-start-time)
2. (<aggregated val>, key2, <window1-start-time)
3. (<aggregated val>, key3, <window1-start-time)

4. (<aggregated val>, key1, <window1-start-time)
5. (<aggregated val>, key3, <window2-start-time)
6. (<aggregated val>, key4, <window2-start-time)
7. (<aggregated val>, key5, <window2-start-time)

[json-string(1), json-string(2), json-string(3)] 
-> send to sink after window 1 fires
[json-string(4), json-string(5), json-string(6), json-string(7)] 
-> send to sink after window 2 fires

我使用的是EventTime，它从Kafka记录中的一个字段中派生出时间戳。在apply运算符之后，事件不再有时间戳记录，而是有一个很长的WindowStartTime。

Answer 1

您可以使用非键控TimeWindow跟随键控TimeWindow,该非键控TimeWindow将第一个窗口的所有结果合并在一起：

stream
    .keyBy("key")
    .window(<tumbling window of 5 mins>)
    .aggregate(<aggFunc>, <function adding window key and start wd time>)
    .windowAll(<tumbling window of 5 mins>)
    .process(<function iterating over batch of keys for each window>)
    .addSink(sink)

timewindow发出的记录会以允许应用另一层窗口的方式自动打上时间戳。这可以用于聚合所有键的结果（如图所示），或者在不同的时间尺度上生成键化的结果（例如，将5分钟的窗口合并到60分钟的窗口）。

Flink训练包括一个演示此模式的练习。