Apache Beam GroupByKey（）在Python中的Google DataFlow上运行时失败

Question

p_collection
            | "PairWithOne" >> beam.Map(lambda pair: (', '.join(pair).encode("ascii", errors="ignore").decode(), 1))
            | "GroupByKey" >> beam.GroupByKey()
            | "AggregateGroups" >> beam.Map(lambda (pair, ones): (pair, sum(ones)))
            | "Format" >> beam.Map(lambda element: {'pair': element[0], 'pair_count': element[1]})

但是当我将它部署到Google Cloud DataFlow时，我得到了以下错误：

查看出现此错误的源代码，我认为这可能是由于某些名称包含一些奇怪的编码字符，所以我不顾一切地尝试使用代码上看到的.encode（“ascii”,errors=“ignore”）.decode()，但没有成功。

关于为什么这个管道在本地成功执行，但在数据流运行器上失败，有什么想法吗？

Answer 1

这与其说是修复了我的问题，不如说是从一开始就避免了问题，但它确实让我的代码运行了，这要归功于注释中user1093967的建议。

我只是将groupbykey和aggregategroups替换为combinePerkey(sum)步骤，这样问题就不再发生了。

p_collection
        | "PairWithOne" >> beam.Map(lambda pair: (', '.join(pair).encode("ascii", errors="ignore").decode(), 1))
        | "GroupAndSum" >> beam.CombinePerKey(sum)
        | "Format" >> beam.Map(lambda element: {'pair': element[0], 'pair_count': element[1]})

不过，我很高兴知道它为什么有效。