在Apache Flink中聚合两种不同类型的记录

Question

我有一个特定的任务，就是使用Apache Flink和一些附加逻辑将两个数据流连接到一个聚合中。

基本上我有两个数据流：事件流和所谓的元事件流。我使用Apache Kafka作为消息主干。我试图实现的是根据元事件中给出的信息触发评估的聚合/窗口。基本情况是：

1. 事件的数据流开始发出Type A的记录；
2. 记录基于某个键在某个聚合或窗口中不断累积；
3. 元事件数据流接收一个带有给定键的新元事件，该键还定义了将在事件数据流中发出的事件的总量。
4. 步骤3中的事件数量成为聚合的触发条件。在具有给定键的Type A事件的总数等于具有给定键的元事件中定义的数量后，应触发聚合以进行评估。

步骤1和3的顺序不确定，因此可以重新排序。

我试图分析Flink Global Windows，但不确定它是否是一个好的、适当的解决方案。我也不确定这种问题在Apache Flink中是否有解决方案。

非常感谢您的帮助。

Answer 1

简单的答案是. connect（）两个流，keyBy（）每个流中的适当字段，然后将它们运行到自定义的KeyedCoProcessFunction中。您会保存当前的聚合结果

但这里有一个问题-如果在获取该键的元事件记录之前，在类型A流中获取N条记录，那么会发生什么情况，并且

当然，如果元事件目标可以更改为较小的值，则可能会发生类似的情况。