在apachebeam中使用BigtableIO的运行时参数

Question

我试图在Apache Beam中使用BigtableIO的运行时参数来写入BigTable。

我创建了一个从 BigQuery 读取并写入 Bigtable 的管道。当我提供静态参数时，管道工作正常（使用 ConfigBigtableIO 和 ConfigBigtableConfiguration，请参阅此处的示例 - https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/blob/master/java/dataflow-connector-examples/src/ main/java/com/google/cloud/bigtable/dataflow/example/HelloWorldWrite.java），但在尝试使用运行时参数设置管道时出现编译错误。选项设置为所有参数都是运行时值提供者。

    p.apply(BigQueryIO.readTableRows().fromQuery(options.getBqQuery())
            .usingStandardSql())
            .apply(ParDo.of(new TransFormFn(options.getColumnFamily(), options.getRowKey(), options.getColumnKey(), options.getRowKeySuffix())))

            .apply(BigtableIO.write().withProjectId(options.getBigtableProjectId()).
                    withInstanceId(options.getBigtableInstanceId()).
                   withTableId(options.getBigtableTableId()));

它需要Bigtable的输出。write（）。。。被组织起来。阿帕奇。梁sdk。转变。p转换、输出

Answer 1

运行时参数旨在用于 Dataflow 模板。

是否尝试创建模板并使用模板运行管道？如果是，您需要以下步骤：

1. 创建包含所需运行时参数的选项，即
   ValueProvider tableId

使用模板的优点是它允许管道构建一次并在以后使用运行时参数执行多次。有关如何使用 Dataflow 模板的更多信息：https://cloud.google.com/dataflow/docs/templates/overview

不使用数据流模板时，您没有设置运行时参数，即withTableId（ValueProvider tableId）。而是使用withTableId（字符串tableId）。

希望这可以帮助！