断开连接情况下的Flink事件时间处理

Question

Flink在这里提供了一个示例：https://www.ververica.com/blog/stream-processing-introduction-event-time-apache-flink这描述了这样一个场景：有人在玩游戏，由于subway而失去连接，然后当他重新联机时，所有数据都恢复了，可以进行排序和处理。

我的理解是，如果有更多的球员，有两种选择：

>

所有其他的将被延迟，等待该用户恢复连接并发送数据，允许推送水印；

该用户被分类为空闲用户，允许水印向前移动，当他连接时，他的所有数据将进入最新的数据流；

我希望有以下选项：每个用户都独立处理，其会话窗口都有自己的水印。理想情况下，我甚至会使用摄取时间（因此，当他恢复连接时，我会将所有数据放入一个唯一的会话中，该会话将在会话关闭后按事件时间戳排序），并且我正在处理的窗口的当前时间和最后一个时间戳（摄取）之间会有一个间隙（会话窗口根据终止会话的时间间隙来保证这一点）；我也不希望一旦一个用户失去连接，水印就会被卡住，我也不想管理空闲状态：只需继续正常处理所有其他事件，一旦该用户回来，不要将任何数据归类为延迟数据，因为与用户失去连接的时刻相比，水印在时间上提前了；

我如何实现上面的要求？由于水印是全局的，我一直很难在没有这样的场景中工作。每个键都没有水印有一个简单的解释吗？

提前谢谢你！

Answer 1

Flink最直接支持这一点的水印可能是对每Kafka分区水印的支持——这并不是您所描述情况的实际解决方案（因为每个用户都有Kafka分区是不现实的）。

可以做的是简单地忽略水印，并使用KeyedProcessFunction自己实现逻辑。

顺便说一句，最近在每个密钥粒度水印支持主题下的flink-user和flink-dev邮件列表上都有一个关于这个的线程。