Apache-Beam向PCollection添加序列号

Question

p | ReadFromAvro(known_args.input) | beam.Map(adapt) | beam.GroupByKey() | beam.Map(adaptGroupBy) 

我读过没有办法从PCollection中获得列表：如何在Google Dataflow中从PCollection中获得元素列表，并在管道中使用它来循环写入转换？

我怎样才能实现呢？有人帮忙吗？

Answer 1

如果您希望获得包含pcollection中每个元素的列表，则可以使用侧输入。请记住，这将从您的结果中删除所有并行性，并且您的管道可能会变得缓慢。

如果您还想这样做，那么：

side_input_coll = beam.pvalue.AsIterable(my_collection)

(p 
 | beam.Create([0]) 
 | beam.FlatMap(lambda _, my_seq: [(elem, i) for i, elem in enumerate(my_seq)],
               my_seq=side_input_coll))

但是不要忘记，为了保持并行性，最好只生成一个随机ID。请记住pCollections本质上是无序的。