用于消息传递的Flink有状态函数地址解析

Question

在Flink数据流中，假设上游运算符托管在机器/任务管理器M上，那么上游运算符如何知道下游运算符托管在其上的机器（任务管理器）M'。是否在JobManager对作业子/任务（操作符）进行初始调度期间，在下游/上游操作符之间建立了这样的数据流路径，并且这样的数据流路径在应用程序生存期内是固定的？

更一般地，考虑Flink状态函数，其中支持动态消息传递，并且数据流不是固定的或预定义的，并且给定一个具有键K的函数，该函数需要向另一个具有键K'的函数发送消息/事件，函数K如何找到函数K'的地址来传递消息？Flink运行时是否在某种分布式数据结构（例如Microsoft Orleans中的DHT）中保持键机映射，并且函数的每次调用都涉及到对这种数据结构的访问？

注意，我来自Spark背景，在那里，给定RDD/批处理模型，作业图任务是连续执行的（在shuffle边界处断开），并且每个shuffle子任务都是由持有该子任务应该拉出/处理的键子集的机器指示的……。

谢谢你。

Answer 1

即使使用有状态函数，底层Flink作业的拓扑也是在作业启动时固定的。每个有状态函数作业都或多或少地使用一个作业图（入口各不相同，但其余的总是这样）：

在这里，您可以看到所有加载的入口都变成了发出输入消息的Flink源操作符，路由器变成了链接到这些源的flatmap操作符。

充当路由器的flatmaps将输入消息转换为内部事件包络，该包络实质上只是将消息有效载荷与目标逻辑地址包装在一起。信封是流经流图的所有消息的在线数据类型。有状态函数运行时以函数调度器运算符为中心，该运算符在所有模块中运行所有加载函数的实例。

收到后，函数分派器从信封中提取目标函数地址，加载该函数实例，然后用包装的输入（也在信封中）调用函数。

函数调度程序的不同实例如何相互发送消息？

这是通过将每个函数分派器与一个反馈运算符同地定位来完成的。使用目标函数id作为密钥，所有传出的消息都将通过另一个网络洗牌。