在Apache Beam中向不同的BigQuery表写入不同的值

Question

假设我有一个pcollection ，我想把它写到多个BigQuery表中，为每个foo选择一个可能不同的表。

如何使用Apache BeamBigqueryioAPI来完成此操作？

Answer 1

使用最近添加到Apache Beam中的bigqueryio中的一个特性可以实现这一点。

PCollection<Foo> foos = ...;
foos.apply(BigQueryIO.write().to(new SerializableFunction<ValueInSingleWindow<Foo>, TableDestination>() {
  @Override
  public TableDestination apply(ValueInSingleWindow<Foo> value) {  
    Foo foo = value.getValue();
    // Also available: value.getWindow(), getTimestamp(), getPane()
    String tableSpec = ...;
    String tableDescription = ...;
    return new TableDestination(tableSpec, tableDescription);
  }
}).withFormatFunction(new SerializableFunction<Foo, TableRow>() {
  @Override
  public TableRow apply(Foo foo) {
    return ...;
  }
}).withSchema(...));

根据输入pcollection 是有界还是无界，这将创建多个BigQuery导入作业（根据数据量，每个表一个或多个），或者使用BigQuery流插入API。

最灵活的API版本使用DynamicDestinations，它允许您使用不同的模式将不同的值写入不同的表，甚至允许您在所有这些计算中使用来自管道其余部分的侧输入。