资源过度分配到Flink中的插槽

Question

关于Flink上允许优化集群中资源使用的功能（延迟、吞吐量...），即插槽共享、任务链、异步i/o和动态扩展，我想问以下问题（都在流处理上下文中）：

>

在哪些情况下，有人会对任务管理器中的槽数高于cpu内核数感兴趣？

在哪种情况下，我们应该在多个插槽上拆分任务管道（禁用插槽共享），而不是增加并行性，以便应用程序跟上传入的数据速率？

是否有可能，即使在使用上述所有功能时，为插槽保留的资源也可能高于插槽中所有任务所需的资源量，从而导致我们拥有为插槽保留但未被使用的资源？当应用程序中的任务具有不同的延迟（或不同的并行性）时，是否可能出现此类问题？或者甚至当我们在同一个窗口上执行多个聚合（不能使用折叠或减少优化）时？

提前谢谢。

Answer 1

>

如果您观察到您的应用程序跟不上传入的数据速率，那么通常最好增加并行度（假设瓶颈不是并行度为1的运算符并且您的数据具有足够的键值）。

如果您在一个管道中有多个计算密集型运算符（甚至可能是链式的），并且每个槽的内核少于这些运算符，那么拆分管道可能是有意义的。这样可以更好地同时完成这些运算符的计算。

从理论上讲，您可以为插槽分配比实际需要更多的资源。E、 g.每个插槽中有一个操作符，但分配了多个内核。此外，在操作符的并行性不同的情况下，一些插槽可能会比其他插槽分配更多的子任务。您可以随时监视作业的执行情况，以检测资源调配不足和过度。