Apache beam python管道在groupbykey（）之后不继续

Question

(parseout_interim | beam.Map(lambda row: (row['prefix'] + row['report_id'], row))
                                                # | beam.GroupByKey()
                                                | beam.ParDo(ParseSegmentsDoFn()).with_outputs(ParseSegmentsDoFn.OUTPUT_TAG_TRADELINE,
                                                                                              main = 'parseout'))

Answer 1

正如您在评论中所暗示的，这一定是一个流式管道。

考虑一个流式管道正在持续接收事件。当您想在该管道中对事件进行分组时，系统需要知道在对事件进行分组时应该等待多长时间。这有道理吗？

因此，您需要为您的管道设置窗口和触发策略，否则它将永远等待，以分组流中的所有元素。