Flink和recovery中事件处理的顺序

Question

我研究Flink已经一个多星期了。我们正在从Kafka消费事件，我们希望事件属于一个特定的对象id需要按照事件时间的顺序进行处理。到目前为止，我的研究告诉我，我应该使用keyby和timewinds，我的理解是正确的吗？

另一个问题是，当一个任务管理器关闭时，只有属于该任务管理器的事件才会被停止处理，直到该任务管理器启动？检查点机制是否知道未被处理的事件，它将如何请求Kafka关于这些事件？

下面用例中的问题

在具有并行进程的Flink集群中，我们不应该以一个agent的坏状态结束对不同分区/任务槽中的agent信息的处理。我的问题是keyBy agentId会将流划分为子流，并始终在指定的分区中处理它们，这样可以保持事件处理的顺序。

另外，另一个问题是，如果处理特定代理数据的分区出现异常/任务管理器，那么Flink如何知道在恢复后只请求那些代理事件。

Answer 1

您将希望使用keyBy（objectId）按对象ID对流进行分区。

如果必须按事件时间对流进行排序，则有两个选项。可以使用windows创建在ProcessWindowFunction中排序（逐批）的事件批，也可以使用KeyedProcessFunction创建连续有序流。这里有一个例子。

Flink中的检查点是全局的。它们包括Kafka中的偏移量，以及分布式集群中的所有状态，这些状态是由于摄入了直到这些偏移量为止的输入而产生的。恢复包括重新启动集群、恢复集群的状态、将Kafka使用者重绕到检查点中记录的偏移量，以及从该点重播事件。注意，如果您的接收器不是事务性的，这可能会导致写入重复的结果。

至于第二个问题，如果只有一个任务管理器宕机也没关系。所有的任务管理器都将重新启动，并且它们都将从存储在最近的检查点中的偏移量倒带并恢复处理。检查点是全局的，覆盖整个集群--不支持部分恢复。