DataFlow/Apache Beam-如何按顺序设计流水线操作？

Question

作为DataFlow/Apache Beam的一部分，我希望先从一个源读取，然后再写入一个源，然后再从一个源读取，然后再按此顺序写入。我如何确保下面R->W->R->W的顺序？我相信下面的运行就像一个r->w的并行管道。我不确定是否使用PDone对象来实现这一点。

（在下面的示例中，考虑BIGQUERYVIEWB是一个由TestDataSet1.Table2和其他几个表组成的大查询视图）

//Read 1
PCollection<TableRow> tr = pipeline.apply(BigQueryIO.readTableRows().fromQuery("SELECT ID FROM `TESTDATASET1.BIGQUERYVIEWA`").usingStandardSql());
PCollection<TableRow> tr1= tr.apply(ParDo.of(new SomeFn()));
//Write 1
tr1.apply(BigQueryIO.writeTableRows().withoutValidation()
                    .withSchema(FormatRemindersFn.getSchema())
                    .withWriteDisposition(WriteDisposition.WRITE_APPEND)
                    .to("TESTDATASET1.TABLE2"));
//Read 2
PCollection<TableRow> tr2 = pipeline.apply(BigQueryIO.readTableRows().fromQuery("SELECT ID FROM `TESTDATASET1.BIGQUERYVIEWB`").usingStandardSql());
PCollection<TableRow> tr3= tr.apply(ParDo.of(new SomeFn()));
//Write 2
tr3.apply(BigQueryIO.writeTableRows().withoutValidation()
                    .withSchema(FormatRemindersFn.getSchema())
                    .withWriteDisposition(WriteDisposition.WRITE_APPEND)
                    .to("TESTDATASET1.TABLE3"));

Answer 1

下面是一个简单的伪代码示例：

PCollection<String> data = ...;

PCollection<Something> first = data.apply(ParDo.of(..))

data.apply(Wait.On(first)).apply(ParDo.of(..))

注意wait.on（..）需要PCollection作为信号，而不是PDONE。我相信BigQuery.write返回一个WriteResult，您可以从中提取失败插入的PCollection。