Apache beam/dataflow管道，用于具有文件名元数据的大量文件(1M+)

Question

我一直在编写一个Apache Beam/Dataflow管道，用于在GCS桶中存储1M+文件的usecase；Bigquery行输出还需要每个文件的路径。每个输入文件都是一个单行json文件。

下面是我当前的管道代码片段：

    input_file_path = 'gs://' + BUCKET + '/**'

    with beam.Pipeline(options=options) as p:
        (p | 'Reading input file' >> beam.io.ReadFromTextWithFilename(input_file_path)
         | 'Converting from json to dict' >> beam.ParDo(JSONtoDict())
         | 'Write entries into Bigquery' >> beam.io.WriteToBigQuery(
             table_spec,
             schema=table_schema,
             write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE,
             create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED)
         )

Answer 1

您可以尝试现有的Python转换。有一个已知的问题，数据流作业可能会由于源创建太多分裂而失败。JavaWithIntMatchesmanyFiles。通过使用pardo读取来解决这个问题，但它将禁用动态工作重新平衡。Dataflow Runner v2支持大型globs，同时支持动态工作再平衡。