用于Bigquery和云SQL的GCP加密通过Beam/Dataflow API

Question

上下文：我们正在尝试使用GCP数据流（Apache Beam）将一些CSV格式的数据加载到GCP BigQuery中。这是第一次（针对每个表）通过BigQueryIO API创建BQ表。客户要求之一是GCP上的数据需要使用客户提供/管理的加密密钥进行加密。

问题陈述：在创建表时，我们无法找到通过 API 指定“自定义加密密钥”的任何方法。 GCP 文档详细介绍了如何通过 GCP BQ 控制台指定自定义加密密钥，但在 DataFlow 代码中找不到任何通过 API 指定它的内容。

代码段：

String tableSpec = new StringBuilder().append(PipelineConstants.PROJECT_ID).append(":")
    .append(dataValue.getKey().target_dataset).append(".").append(dataValue.getKey().target_table_name)
    .toString();

ValueProvider<String> valueProvider = StaticValueProvider.of("gs://bucket/folder/");

dataValue.getValue().apply(Count.globally()).apply(ParDo.of(new RowCount(dataValue.getKey())))
    .apply(ParDo.of(new SourceAudit(runId)));

dataValue.getValue().apply(ParDo.of(new PreProcessing(dataValue.getKey())))
    .apply(ParDo.of(new FixedToDelimited(dataValue.getKey())))
    .apply(ParDo.of(new CreateTableRow(dataValue.getKey(), runId, timeStamp)))
    .apply(BigQueryIO.writeTableRows().to(tableSpec)
        .withSchema(CreateTableRow.getSchema(dataValue.getKey()))
        .withCustomGcsTempLocation(valueProvider)
        .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED)
        .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_APPEND));

问：如果有人能告诉我们

• 是否可以通过Beam API提供加密密钥
• 如果当前版本不可行，可能的解决方法是什么

如果需要其他信息，请告知。

Answer 1

客户提供的加密密钥是一项新功能，并非所有库都已更新以支持它。

如果您事先知道表名，则可以使用UI/CLI或API创建表，然后运行正常流程将数据加载到该表中。那对你来说可能是一个工作环境。

https://cloud.google.com/bigquery/docs/customer-managed-encryption#create_table

创建表的API：https://cloud.google.com/bigquery/docs/reference/rest/v2/tables/insert

您需要在表对象上设置此部分：“encryptionConfiguration”：{“kmsKeyName”：string}有关表的详细信息：https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#resource