来自单个Google云数据流作业的并行数据流流水线

Question

我试图从一个数据流作业中运行两个分离的管道，类似于下面的问题：

• 一个数据流作业中的并行管道

如果我们使用单个p.run（）使用单个数据流作业运行两个分离的管道，如下所示：

    (
            p | 'Do one thing' >> beam.Create(List1)
    )
    (
            p | 'Do second thing' >> beam.Create(List2)
    )       
result = p.run()
result.wait_until_finish()  

我认为它将在一个数据流作业中启动两个独立的管道，但它会创建两个包吗？它会在两个不同的工人上运行吗？

Answer 1

您是正确的：图的这两个部分将在相同的数据流作业下运行。

数据流动态地并行工作项的执行。这意味着根据您的管道、它的工作量等，Dataflow可能决定在同一员工或不同员工上调度。

通常，如果在两个并行管道上有足够的工作（每个大约20个），那么是的：它们将并行运行。