apache_beam.io.writeToText（）作为模板参数的文件名称

Question

我在DataFlow上执行了一个apache_beam模板。我需要传递要写入的文件的名称作为模板参数。类似于

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://YOUR_BUCKET_NAME/templates/MyTemplate \
    --parameters output_file_name=OUTPUT_NAME , input_file_name=INPUT_NAME 

output_file的值可以通过PipelineOptions访问，如下所示

class MyOptions(PipelineOptions):
@classmethod
def _add_argparse_args(cls,parser):
    parser.add_value_provider_argument('--output_file_name', type=str,
          help='Output Name')
    parser.add_value_provider_argument('--input_file_name', type=str,
          help='Input Name')
    

如果需要在apache_beam.io.writeToText中使用output_name

   optlist=PipelineOptions()
    my_options=optlist.view_as(MyOptions)
    p = apache_beam.Pipeline(options=optlist)
    (p
    | 'create'            >> apache_beam.Create(["1","2","3"])
    | beam.io.WriteToText(my_options.output_file_name.get())

    )
    p.run()

这是不允许的，因为我们只能将my_options.output_name.get()作为运行时值读取，如果我们试图将此代码部署为模板，就会引发错误。

考虑到这是一个非常常见的用例，我假设可能有一个通用的库或解决方案。有人在附近工作吗？

Answer 1

对于这种情况，您可以使用Flex模板。当从模板创建管道时，他们对哪些参数可以改变没有任何限制。