防止Apache Beam/Dataflow streaming（python）管道中的融合，以消除管道瓶颈

Question

input = ( pipeline | beam.io.ReadFromPubSub(subscription=<subscription_path>)
                   | beam.Map(process_fn))
windows = input | beam.WindowInto(beam.window.SlidingWindows(3, 3),
                                  trigger=AfterCount(30), 
                                  accumulation_mode = AccumulationModel.DISCARDING)
group = windows | beam.GroupByKey()
group | beam.Map(post_processing_fn)

因此，我们正在寻找防止这种融合发生的方法，因此数据流将窗口与窗口的后处理分开。这样，我们期望Dataflow能够再次分配多个工作人员来进行激发窗口的后处理。

到目前为止我们所尝试的：

null

最后两个操作确实创建了第三个集群操作(1/processing2/windowing3/post-processing)，但我们注意到，在开窗之后，仍然是同一个worker在执行所有操作。

是否有任何解决方案可以解决这个问题声明？

目前我们正在考虑的解决方案是建立另一个接收窗口的流管道，这样这些工作人员就可以并行处理窗口，但这很麻烦…

Answer 1

你做了正确的事情来打破你元素的融合。我怀疑可能有个问题给你带来了麻烦。

对于流，单个键总是在同一个工作器中处理。您的所有记录或大部分记录是否都被分配给一个键？如果是这样，您的处理将在一个工人中完成。

可以防止这种情况发生的方法是使窗口成为键的一部分，这样，即使多个窗口的元素具有相同的键，它们也可以在不同的worker中处理：

class KeyIntoKeyPlusWindow(core.DoFn):
  def process(self, element, window=core.DoFn.WindowParam):
    key, values = element
    yield ((key, window), element)

group = windows | beam.ParDo(KeyIntoKeyPlusWindow() | beam.GroupByKey()

group | beam.Map(post_processing_fn)