如何使用数据流在GCS上自动编辑超过10万个文件？

Question

我在Google云存储上有超过10万个包含JSON对象的文件，我想创建一个镜像来维护文件系统结构，但从文件内容中删除一些字段。

我试图在谷歌云数据流上使用Apache Beam，但它拆分了所有文件，我不能再维护结构了。我正在使用文本IO。

我的结构类似于＜code＞reports/YYYY/MM/DD/

如何使数据流不拆分文件并使用相同的目录和文件结构输出它们？

或者，是否有更好的系统对大量文件进行此类编辑？

Answer 1

您不能为此直接使用< code>TextIO,但是Beam 2.2.0将包含一个特性，可以帮助您自己编写这个管道。

如果您可以在HEAD构建Beam的快照，您已经可以使用此功能。注意：在编写此答案和Beam 2.2.0发布之间，API可能会略有变化

• 使用＜code＞匹配。filepatterns（）创建PCollection

请注意，Match是一个非常简单的PTransform（在引擎盖下使用FileSystems），您可以在项目中使用它的另一种方式是将其代码复制粘贴（必要部分）到您的项目中，或者研究其代码并重新实现类似的东西。这可以是一个选项，以防您犹豫是否要更新Beam SDK版本。