Apache Beam流水线中在一个PCollection上同时应用多个pTransform

Question

我试图创建一个beam管道，在一个PCollection上同时应用多个ParDo转换，并在列表中收集和打印所有结果。到目前为止，我经历了顺序的过程，就像第一个帕尔多，然后第二个帕尔多。下面是我为我的问题准备的一个例子：

import apache_beam as beam

from apache_beam.options.pipeline_options import PipelineOptions

p = beam.Pipeline(options=PipelineOptions())

class Tr1(beam.DoFn):
  def process(self, number):
    number = number + 1
    yield number

class Tr2(beam.DoFn):
  def process(self, number):
    number = number + 2
    yield number

def pipeline_test():

  numbers =  p | "Create" >> beam.Create([1])
  tr1 = numbers  | "Tr1" >> beam.ParDo(Tr1())
  tr2 = numbers  | "Tr2" >> beam.ParDo(Tr2())

  tr1 | "Print1" >> beam.Map(print)
  tr2 | "Print2" >> beam.Map(print) 

def main(argv):
  del argv

  pipeline_test()

  result = p.run()
  result.wait_until_finish()
if __name__ == '__main__':
  app.run(main)

Answer 1

转换和元素的调度由用于运行流水线的运行器管理。

运行者通常试图优化图形，并可能按顺序或并行运行某些任务。

在您的示例中，Tr1和Tr2都是无状态的，并应用于相同的输入。在这种情况下，runner通常在同一机器上对同一元素按顺序运行它们。注意，runner仍将并行运行不同的元素。