Flink状态后端密钥原子性和分布

Question

在阅读了flink文档之后（相关部分在下面注明），我仍然没有完全理解原子性和密钥分配。

即考虑一个由keyby->flatmap（包含一个map状态）组成的图，并将并行度设置为1和4个任务槽，flink是否确保每个键在分布式环境中只存在一次（在一个任务槽中），它是原子单元？提前感谢所有的帮助者。

密钥状态被进一步组织成所谓的密钥组。密钥组是Flink重新分配密钥状态的原子单位；关键组的数量与定义的最大并行度完全一样多。在执行期间，键控运算符的每个并行实例使用一个或多个键组的键。

Answer 1

对于任何给定的并行运算符，具有相同键的所有事件都由相同的运算符实例处理--即，在相同的任务槽中。

Flink将密钥组织成密钥组，每个密钥（及其状态）都与特定的密钥组永久关联。此外，每个任务槽负责处理一个或多个密钥组的密钥。

您引用的文档使用了短语“原子单元”来表示“不可分割”，当考虑到重新调整Flink作业时（即，当并行性被更改时）会发生什么时，这就变得相关了。

有关这个主题的更多内容，请参阅data Artisans博客文章中关于“Flink中的状态和重新缩放有状态流作业”的部分。