Apache Flink：多窗口聚合和后期数据

Question

我们计划将Apache Flink与一个巨大的IOT设置一起使用。客户将向我们发送某种结构化的传感器数据（如sensor_id、sensor_type、sensor_value、timestamp）。我们没有控制每个客户何时发送这些数据，最有可能是实时的，但我们没有保证。我们将所有事件存储在RabbitMQ/Kafka中。更新：我们可以假设每个传感器的事件是按顺序来的。

在开始实施可能的流式管道之前，我们对以下挑战的解决方案感兴趣：

null

当某个客户由于传感器配置错误（因为我们无法控制）而向我们发送数据时，流会发生什么？

我们很好奇你的推荐。多谢了。

Answer 1

这是相当多的问题。我试着一一回答：

1. 多窗口聚合

您可以构造级联窗口运算符的数据流，并在每个窗口之后分叉（以发出或进一步处理）结果。

Input -> window(15 secs) -> window(1 min) -> window(15 min) -> ...
                        \-> out_1        \-> out_2         \-> out_3

另一个问题将是在传感器被移除的情况下移除状态。这将不会被自动检测到。也许可以使用一个特殊的标记记录来触发状态清理。