apache beam全局组合洗牌

Question

在我的apache beam和dataflow管道中，我执行了一些需要全局合并操作的转换，如min、max、自定义全局合并函数。pcollection中要处理的项目数量大约为20亿到40亿。

我读到大多数合并操作构建在groupBykey之上，这会导致洗牌，我认为这会使我当前的流水线变慢，或者从UI观察到全局合并操作中最高的墙时间。我查看了代码，groupByKey试图向所有元素添加一个静态void键，然后执行groupby，这是否意味着我们正在洗牌数据（特别是当我们只有一个键时）？有什么方法可以有效地做到这一点吗

另一个我自己理解的问题是：beam/dataflow文档说，一个键的所有元素都要由一个工作人员/线程来处理。以在pcollection of integers中寻找max为例，这种全局操作是完全并行的，其中我的合并器/累加器对部分/子集数据进行工作，找到max，然后合并部分结果（合并两个max得到max)，在树形结构中，树叶的结果可以合并得到父节点，每个节点基本上可以以分布式的方式求值。那么，到底是什么操作强制一个键必须由一个工作线程/线程来处理。似乎任何全局操作，如果你有组合器，是交换的和关联的，都可以很容易地并行化。全局组合的哪个部分需要通过单个工作线程？

Answer 1

Dataflow将为每个元素分配一个不同的键，因此最终不会使用所有相同的键（因此没有并行性）。如果全部分配给一个键，那么只有一个工作人员能够处理，而且会非常慢。