速度和内存的折衷将Apache Beam PCollection一分为二

Question

我有一个PCollection，其中每个元素都是一个键，值元组如下:(key，(value1，..，value_n))

class SplitInTwo(beam.DoFn):

   def process(self, kvpair):
       key, values = kvpair
       
       yield beam.TaggedOutput('left', (key, values[0:2]))
       yield beam.TaggedOutput('right', (key, values[2:]))

class ProcessLeft(beam.DoFn):
   def process(self, kvpair):
       key,values = kvpair
       ...
       yield (key, results)

# class ProcessRight is similar to ProcessLeft

   splitme = pcoll | beam.ParDo(SplitInTwo()).with_outputs('left','right')
   left = splitme.left | beam.ParDo(ProcessLeft())
   right = splitme.right | beam.ParDo(ProcessRight())

class ProcessLeft(beam.DoFn):

   def process(self, kvpair):
       key = kvpair[0]
       values = kvpair[0][0:2]
       ...
       yield (key,result)

# class ProcessRight is similar to ProcessLeft

   left = pcoll | beam.ParDo(ProcessLeft())
   right = pcoll| beam.ParDo(ProcessRight())

但是...更快吗？会比第一个需要更少的内存吗？

（我在考虑第一个选项可能由跑步者融合--不仅仅是数据流跑步者）。

Answer 1

在这种情况下，这两个选项都将被runner融合，因此这两个选项在性能方面有点相似。如果您希望将数据重新洗牌到单独的工作者中，那么选项1是最佳选择，因为processleft和processright读取的序列化集合会更小。

   splitme = pcoll | beam.ParDo(SplitInTwo()).with_outputs('left','right')
   left = splitme.left | beam.Reshuffle() | beam.ParDo(ProcessLeft())
   right = splitme.right | beam.Reshuffle() | beam.ParDo(ProcessRight())

reshuffle转换将确保将数据写入中间洗牌，然后在下游使用。这会破坏聚变。