apache_beam.transforms.util.reshuffle（）不适用于GCP数据流

Question

我已经通过PIP安装升级到最新的apache_beam[gcp]包--upgrade apache_beam[gcp]。但是，我注意到Reshuffle（）没有出现在[gcp]发行版中。这是否意味着我将不能在任何数据流管道中使用reshuffle()？有什么办法可以绕过这个吗？或者pip包可能只是不是最新的，如果Reshuffle（）在github的master中，那么它将在Dataflow上可用？

根据对这个问题的回答，我试图从BigQuery中读取数据，然后在将数据写入GCP存储桶中的CSV中之前对数据进行随机化。我注意到，我用来训练GCMLE模型的sharded.csv并不是真正随机的。在tensorflow中，我可以随机化批处理，但这只会随机化队列中构建的每个文件中的行，我的问题是当前生成的文件在某种程度上有偏差。如果有任何建议，以其他方式洗牌之前，写到CSV在数据流，这将是非常感谢的。

Answer 1

一种方法是重新创建洗牌我自己。

import random

shuffled_data = (unshuffled_pcoll
        | 'AddRandomKeys' >> Map(lambda t: (random.getrandbits(32), t))
        | 'GroupByKey' >> GroupByKey()
        | 'RemoveRandomKeys' >> FlatMap(lambda t: t[1]))

我剩下的问题是，我是否需要担心代码中的窗口或expanditerable部分