大开销Apache Beam中的批处理

Question

我目前正在使用Python API开发一个更大的Apache Beam管道，它从BigQuery中读取数据，并最终将其写回另一个BigQuery任务。

其中一个转换需要使用二进制程序来转换数据，为此，它需要加载一个23GB的二进制查找数据文件。因此，启动和运行该程序需要大量的开销（每次加载/运行大约需要2分钟）和RAM，并且仅为一条记录启动该程序是没有意义的。此外，每次都需要将23GB文件从云存储中复制到本地。

>

从云存储中复制23GB的文件，如果它已经不在那里

将记录保存到文件中

用call（）运行二进制文件

我的两个问题是，在Apache Beam中实现这个用例的最佳方法是什么（性能方面），如果没有好的解决方案，是否有其他更适合的Google云服务可以使用，比如beam-->其他服务-->Beam？

Answer 1

不能在幕后拆分组，因此使用GroupByKey应该有效。事实上，这是一个要求，因为每个单独的元素必须在一台机器上处理，并且在GroupByKey之后，具有给定键的所有值都是同一个元素的一部分。

您可能希望分配随机密钥。请记住，如果给定键的值太多，那么将所有这些值传递给程序可能也很困难--因此，您可能还希望限制一次传递给程序的值的数量和/或调整如何分配键。

分配随机密钥的一个技巧是在start bundle中生成随机数（例如1到1000)，然后在process元素中增加这个随机数，并将1001换到1000。这避免了为每个元素生成随机数，并且仍然确保了键的良好分布。

您可以为这两个逻辑创建一个PTransform（将pCollection 分成pCollection > 块进行处理），这在类似的情况下可能是可重用的。