仅在另一个管道在google数据流上完成后执行管道

Question

我想在谷歌数据流上运行一个管道，该管道取决于另一个管道的输出。现在，我正在本地使用DirectRunner依次运行两条管道：

with beam.Pipeline(options=pipeline_options) as p:
    (p
     | beam.io.ReadFromText(known_args.input)
     | SomeTransform()
     | beam.io.WriteToText('temp'))

with beam.Pipeline(options=pipeline_options) as p:
    (p
     | beam.io.ReadFromText('temp*')
     | AnotherTransform()
     | beam.io.WriteToText(known_args.output))

我的问题如下：

• DataflowRunner是否保证第二个仅在第一个管道完成后启动

Answer 1

DataflowRunner是否保证第二个管道仅在第一个管道完成后启动？

不，数据流只是执行一个管道。它没有用于管理依赖管道执行的功能。

更新：为了澄清，Apache Beam确实提供了一种等待管道完成执行的机制。请参阅PipelineResult类的waitUntilFinish（）方法。参考：PipelineResult。waitUntilFinish（）。

是否有一种首选方法可以相应地运行两个管道？

考虑使用像Apache Airflow这样的工具来管理依赖的管道。您甚至可以实现一个简单的bash脚本来在另一个管道完成后部署一个管道。

还有没有推荐的方法将这些管道分离到不同的文件中，以便更好地测试它们？

是的，单独的文件。这只是很好的代码组织，不一定更好地进行测试。