Google数据流和Apache beam：为什么选择ValueProvider

Question

我对数据流非常陌生，并尝试用Python构建模板。

这就是让我感到困惑的文件。

我们是否有理由使用ValueProvider？

我发现许多官方模板只使用Pythonargparse。

我应该在什么时候使用哪种解决方案？

1. 创建PipelineOptions的子类并使用ValueProvider

@classmethod
def _add_argparse_args(cls, parser):
    parser.add_value_provider_argument(
        "--input", dest="input", required=True, help="Input for the pipeline",
    )
    ...

或2。使用argparse分析中的参数，如果uuu nam_uuuu==“uuuu main_uuuu”块？

Answer 1

通过PipelineOptions使用ValueProvider而不是直接对参数使用argparse的原因是启用运行时参数。了解这一点的用处包括了解运行时参数和构造时参数之间的差异。正如数据流模板概述所述：

如果使用数据流模板，暂存和执行是独立的步骤。这种分离为您提供了额外的灵活性，可以决定谁可以运行作业以及从何处运行作业。

在创建和暂存模板时，将计算常规参数。因此，如果您直接使用argparse，或者您的PipelineOptions中有一些参数使用add_参数，则这些参数是在您第一次调用模板代码来构造和暂存作业图时指定的。因此，您通常只运行一次，以将作业分段，然后可以重复执行作业。

无论何时执行已分阶段执行的作业，都可以指定其他运行时参数。与构建管道时仅指定一次的构建时间参数不同，运行时参数可以在每次运行分阶段作业时指定，因此可以更频繁地更改。但是，转换需要显式地支持运行时参数作为ValueProviders，这是一个选项。

因此，总而言之，是否使用ValueProvider的决定取决于在构建图形或运行管道时是否需要参数。构造时参数主要用于影响图形构造的参数，或在一个作业的多次运行中保持不变的参数。每次运行作业时可能更改的参数（如输入文件）应为运行时参数（即ValueProviders），前提是您使用的转换支持该参数。