如何在tf中使用Google DataFlow Runner和模板。使改变

Question

我们正在谷歌云上建立机器学习管道，利用GC ML-Engine进行分布式TensorFlow训练和模型服务，利用DataFlow进行分布式预处理作业。

我们想在谷歌云上运行我们的Apache Beam应用程序作为DataFlow作业。查看ML-Engine示例，似乎可以获得tensorflow_transform.beam.implAnalyzeAndTransformDataset来指定要使用的PipelineRunner，如下所示：

from tensorflow_transform.beam import impl as tft
pipeline_name = "DirectRunner"
p = beam.Pipeline(pipeline_name) 
p | "xxx" >> xxx | "yyy" >> yyy | tft.AnalyzeAndTransformDataset(...)

TemplatingDataflowPipelineRunner提供了将我们的预处理开发与参数化操作分离的能力-请参阅此处：https://cloud.google.com/dataflow/docs/templates/overview-基本上：

• A） 在PipelineOptions派生类型中，将选项类型更改为ValueProvider（python方式：类型推断或类型提示？）
• B） 将runner更改为TemplatingDataflowPipelineRunner
• C） mvn原型：生成以在GCS中存储模板（python方式：类似TF Hypertune的yaml文件？）
• D） gcloud beta数据流作业运行--gcs位置-参数

问题是：你能告诉我如何使用tf吗。转换为利用TemplatingDataflowPipelineRunner？

Answer 1

不幸的是，Python管道不能用作模板。它现在只适用于Java。因为您需要使用python库，所以这样做是不可行的。

tensorflow_转换还需要支持ValueProvider，以便您可以将选项作为值提供程序类型传递给它。

Answer 2

Python模板从2017年4月开始提供（见留档）。操作它们的方法如下：

• 定义从PipelineOptions子类化的UserOptions
• 使用add_value_provider_参数API添加要参数化的特定参数
• 常规的非参数化选项将继续使用argparse的add_参数定义

class UserOptions(PipelineOptions):
     @classmethod
     def _add_argparse_args(cls, parser):
         parser.add_value_provider_argument('--value_provider_arg', default='some_value')
         parser.add_argument('--non_value_provider_arg', default='some_other_value')

请注意，Python没有TemplatingDataflowPipelineRunner，也没有Java2。X（不像Java1。X）。