为什么要增加任务管理器的数量而不是每个任务管理器的任务槽？

Question

根据Flink留档，存在两个维度来影响任务可用的资源量：

1. 任务管理器的数量
2. 任务管理器可用的任务槽数。

每个TaskManager有一个插槽意味着每个任务组在单独的JVM中运行（例如，可以在单独的容器中启动）。拥有多个插槽意味着更多的子任务共享同一个JVM。同一JVM中的任务共享TCP连接（通过多路复用）和心跳消息。它们还可以共享数据集和数据结构，从而减少每个任务的开销。

文档中有了这一行，您似乎总是会错误地增加每个任务管理器的任务槽数量，而不是增加任务管理器的数量。

一个具体的场景：如果我在库伯内特斯部署了一个作业集群（假设有16个CPU内核可用）和一个由一个源、一个映射函数和一个接收器组成的管道，那么我默认有一个具有16个槽的单个TaskManager可用于该TaskManager。

这是最佳配置吗？是否有一种情况，我更喜欢16个任务管理器，每个都有一个插槽，或者可能是TaskManager和插槽的组合，可以利用所有16个CPU内核？

Answer 1

没有最佳配置，因为“最佳”通常无法定义。每个TM只有一个插槽的配置提供了良好的隔离，并且通常更容易管理和推理。

如果运行多个作业，多插槽配置可能会将不同作业的任务调度到一个TM。如果TM下降，例如，由于两个任务中的任何一个占用了太多内存，这两个作业都将重新启动。另一方面，每个TM运行一个插槽可能会留下更多未使用的内存。如果每个集群只运行一个作业，那么每个TM多个插槽就可以了。