闪烁流保持窗口中特定事件的状态

Question

我有一个flink流系统，在这里我可以获得点击流数据。

数据格式：

{"uid":"123", "event_type":"view","payload":{"p1":{"price":23}}}
{"uid":"123", "event_type":"view","payload":{"p2":{"price":25}}}
{"uid":"123", "event_type":"a2c","payload":{"p2"}}
{"uid":"123", "event_type":"a2c","payload":{"p1":{}}}

{
    "uid":"123",
    "all":[
        {"event_type":"view", "payload":{"p1":{"price":23}}},
        {"event_type":"view","payload":{"p2":{"price":25}}},
        {"event_type":"a2c","payload":{"p2":{"price":25}}},
        {"event_type":"a2c","payload":{"p1":{"price":23}}}
    ],
   "total":4
}

我怎样才能做到这一点呢？基本上，我必须维护窗口中所有view事件的状态，然后，一旦我获得A2C事件，我必须从该状态获取价格。我并不要求任何工作解决方案，只是要求如何维护窗口中所有view事件的状态。我也有一些自定义的Reduce操作。

events.keyBy("uid").window(..).reduce(new ReduceCustomFun(..)).uid("..").name("..");

在reduceCustomFun:我将2个事件数据加入到列表中。

Answer 1

最简单的方法是使用ProcessWindowFunction在每个10分钟窗口结束时执行所有窗口处理。那么您就会有一个iterable，其中包含所有事件（对于给定的uid)，您就可以根据这些事件创建合并报表，并且您不必关心维护任何状态。