具有多重转换的流水线

Question

我试图理解管道中转换的生命周期。

我有一个有几个变换的pipline。

Pipeline p = Pipeline.create(options);
p.apply(TextIO.Read.named("ReadLines").from(inputFile))
            .apply(new ReadData())
            .apply(new Match())
            .apply(new Record())
            .apply(BigQueryIO.Write
                    .to(tableRef)
                    .withSchema(getSchema())
                    .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED)
                    .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE));

Answer 1

使用DirectPipelineRunner，转换完全按顺序执行，正如您所看到的那样。当在没有--streaming集的情况下使用DataflowPipelineRunner运行时，许多转换可以融合在一起，并同时运行。使用--streaming时，数据将持续地流经整个管道，所有转换都将处于活动状态。