在GCS上超过240万个文件的Google Dataflow上运行管道时，Apache Beam的FileBasedSource出现混乱错误

Question

我在Google Dataflow上运行了一个Apache Beam管道，它从GCS读取GZIP压缩的JSON数据，转换它们，并将它们加载到Google BigQuery中。管道在样本批数据上的工作与预期的一样，但是当我试图在整个数据上运行它时(~2.4百万个文件），它有时会引发一个令人困惑的错误，在几次出现后就会破坏进程。

错误是：

我知道错误涉及的阶段是getData:

files = (p
         | 'Init' >> beam.Create([files_pattern])
         | 'GetData' >> ReadAllFromText())

其中p是管道对象，files_pattern是gs://{bucket}/{prefix}/*.json.gz形式的glob。

Answer 1

我建议使用数据流洗牌。数据被保存在Dataflow后端，而不是将洗牌数据放在VM的持久磁盘中。当错误消息提到索引超出范围，并且从注释中可以看出作业使用较少的数据运行时，所发生的情况是内存或存储不足。

此外，请记住，您可以使用Google提供的Dataflow模板。请记住，这些模板是用Java编写的，而不是用Python编写的。其中一个模板是BigQuery的GCS文本。