apache beam管道导入错误疑难解答[BoundedSource对象大于允许的限制]

Question

我有一堆文本文件（约100万个）存储在谷歌云存储上。当我将这些文件读入Google云数据流管道进行处理时，总是会出现以下错误：

Total size of the BoundedSource objects returned by BoundedSource.split() operation is larger than the allowable limit

故障排除页面显示：

如果您通过TextIO、AvroIO或其他基于文件的源从大量文件中读取文件，您可能会遇到此错误。特定限制取决于您的源的详细信息（例如，在AvroIO. Read中嵌入模式将允许更少的文件），但它是一个管道中数以万计的文件。

这是否意味着我必须将文件拆分为更小的批，而不是一次全部导入？

我正在使用数据流python sdk来开发管道。

Answer 1

将文件拆分成批处理是一种合理的解决方法——例如使用多个ReadFromText转换或使用多个管道读取它们。我认为在1M文件的级别，第一种方法行不通。最好使用新功能：

读取大量文件的最佳方法是使用ReadAllFromText。它没有可伸缩性限制（尽管如果文件数量非常少，它的性能会更差）。

它将在Beam 2.2.0中可用，但如果您愿意使用快照构建，它已经在HEAD中可用。

另请参见如何在读取大量文件时提高TextIO或AvroIO的性能？对于Java版本。