Python Apache Beam中值提供程序参数的使用方法

Question

现在我只能使用ParDo来获取类中的运行时值，还有其他方法可以像我的函数一样使用运行时参数吗？

这是我现在得到的代码：

class UserOptions(PipelineOptions):
    @classmethod
    def _add_argparse_args(cls, parser):
        parser.add_value_provider_argument('--firestore_document',default='')

def run(argv=None):

    parser = argparse.ArgumentParser()

    pipeline_options = PipelineOptions()

    user_options = pipeline_options.view_as(UserOptions)

    pipeline_options.view_as(SetupOptions).save_main_session = True

    with beam.Pipeline(options=pipeline_options) as p:

        rows = (p 
        | 'Create inputs' >> beam.Create(['']) 
        | 'Call Firestore' >> beam.ParDo(
                CallFirestore(user_options.firestore_document)) 
        | 'Read DB2' >> beam.Map(ReadDB2))

我希望user_options.firestore_document可以在其他函数中使用，而不必执行ParDo

Answer 1

使用值提供程序的唯一方法是在ParDos和组合中。在创建中不可能传递值提供程序，但可以定义一个DoFn，返回在构造函数中传递给它的值提供程序：

class OutputValueProviderFn(beam.DoFn):
  def __init__(self, vp):
    self.vp = vp

  def process(self, unused_elm):
    yield self.vp.get()

在您的管道中，您将执行以下操作：

user_options = pipeline_options.view_as(UserOptions)

with beam.Pipeline(options=pipeline_options) as p:
  my_value_provided_pcoll = (
      p
      | beam.Create([None])
      | beam.ParDo(OutputValueProviderFn(user_options.firestore_document))

这样，您就不会在创建中使用它，因为这是不可能的，但您仍然可以在pCollection中获得它。