Google Dataflow-Apache Beam GroupByKey（）：复制/慢速

Question

我在beam.groupbykey（）中遇到了一个情况，我加载了一个行数为42.854行的文件。

由于业务规则，我需要执行一个GroupByKey（）；然而，在完成它的执行后，我注意到我得到了几乎双行。如下所示：

GroupByKey（）之前的步骤：

with beam.Pipeline(runner, options=opts) as p:

    #LOAD FILE
    elements = p | 'Load File' >> beam.Create(fileRNS.values)

    #PREPARE VALUES (BULK INSERT)
    Script_Values = elements | 'Prepare Bulk Insert' >> beam.ParDo(Prepare_Bulk_Insert())  
            
    Grouped_Values = Script_Values | 'Grouping values' >> beam.GroupByKey()

    #BULK INSERT INTO POSTGRESQL
    Grouped_Values | 'Insert PostgreSQL' >> beam.ParDo(ExecuteInsert)  
    

向你问好，朱利亚诺·梅德罗斯

Answer 1

这些截图表明“Prepare Bulk Insert”DoFn在每个输入元素输出一个以上的元素。第一个截图显示了GBK的输入PCollection（由DoFn生成），第二个是DoFn的输入，因此差异必须由该DoFn生成。