Apache Flink中的任务分配

Question

考虑一个带有一些节点的Flink集群，其中每个节点都有一个多核处理器。如果我们根据核的数量和相等的内存共享来配置插槽的数量，那么Apache Flink如何在节点和空闲插槽之间分配任务呢？他们是否受到公平对待？
当我们根据节点上可用的核数配置任务插槽时，是否有任何方法使/配置Flink以平等对待插槽
 · · · 例如，假设我们对数据进行相等的分区，并在分区上运行相同的任务。Flink使用来自某些节点的所有插槽，同时某些节点完全空闲。具有较少CPU核数的节点比具有较多CPU核数的节点输出结果的速度要快得多。除此之外，这个加速比与每个节点中使用的核数不成正比。换句话说，如果在一个节点中一个核被占用，而在另一个节点中两个核被占用，在公平地将每个核视为一个时隙时，每个时隙应该在几乎相等的时间量内输出相同任务的结果，而不管它们属于哪个节点。但是，这里的情况并非如此。
 · · · 在这种假设下，我会说节点没有得到平等的对待。这反过来会产生一个与可用节点数不成比例的结果。我们不能说增加时隙的数量就一定会减少时间开销。

Answer 1

非常旧的线程，但有一个较新的线程来回答当前版本的这个问题。

在Flink1.5中，我们增加了资源弹性。这意味着Flink现在能够在像Yarn或Mesos这样的集群管理框架上分配新的容器。由于这些更改（也适用于独立模式），Flink不再考虑固定的任务管理器集，因为如果需要，它将启动新的容器（在独立模式下不起作用）。因此,系统很难决定是否将属于单个作业的插槽分配给多个TM。当你考虑到像你这样的一些工作可能会从这样的策略中受益，而其他的工作则会从同地办公中受益时，情况就会变得更加困难。如果您想要将wrt调度到多个作业，那么情况就会变得更加复杂，而系统并不完全了解这些作业，因为它们是按顺序提交的。因此，Flink目前假设插槽请求可以由任何TaskManager完成。