为什么执行并行度=1的Flink作业不好？

Answer 1

用平行度=1的Flink也不错。但它违背了使用Flink的主要目的（能够缩放）。

一般来说，您不应该拥有比内核更高的并行度（物理或虚拟的并行度取决于用例），因为您希望尽可能地使内核饱和。任何超过这一点的东西都会对您的性能产生负面影响，因为它需要更多的通信开销和上下文切换。通过向外扩展，您可以从网络中的分布式计算节点添加核心，这是使用大数据技术相对于手工编写应用程序的主要好处。

正如您所说的，只有在对数据进行分区的情况下，才能使用并行性。如果你有一个需要所有数据的算法，你最终需要在一个核心上处理它。然而，通常您可以并行地进行大量预处理（过滤、转换）和部分聚合，然后在最终的核心处组合数据。例如，想象一下简单地计算所有事件。您可以对每个分区的数据进行计数，然后在最后一个步骤中简单地将部分计数相加，该步骤几乎完美地缩放。