在Flink，是否可能有多个工人的全球国家？

Question

在Flink文档中的任何地方，我都看到一个状态对map函数和工作人员来说都是单独的。这在独立方法中似乎很强大，但是如果Flink在集群中运行呢？Flink可以处理所有工作人员都可以添加数据并查询它的全局状态吗？

来自Flink关于国家的文章：

为了在此设置中实现高吞吐量和低延迟，必须最小化任务之间的网络通信。在Flink中，流处理的网络通信仅沿作业操作符图中的逻辑边（垂直）进行，因此流数据可以从上游操作符传输到下游操作符。

但是，操作符的并行实例之间没有通信（水平）。为了避免这种网络通信，数据局部性是Flink中的一个关键原则，并强烈影响状态的存储和访问方式。

Answer 1

我认为Flink只支持操作符上的状态和键控流上的状态，如果需要某种全局状态，则必须将数据存储并恢复到某种数据库/文件系统/共享内存中，然后将这些数据与流混合。

无论如何，根据我的经验，通过良好的处理管道设计和以正确的方式对数据进行分区，在大多数情况下，您应该能够应用分而治之算法或MapReduce策略来存档您的需要

如果在系统中引入某种全局状态，那么这种全局状态可能会成为一个巨大的瓶颈。所以要不惜一切代价避免它。