Apache Beam数据流BigQuery

Question

如何使用带有DataflowRunner的apache光束从Google BigQuery数据集获取表列表？

我找不到如何从指定的数据集中获取表。我想使用数据流的并行处理编程模型将表从位于美国的数据集迁移到位于欧盟的数据集。

Answer 1

数据流的目的是创建管道，因此不包括发出一些API请求的能力。您必须使用BigQueryJava客户端库来获取数据，然后将其提供给您的Apache管道。

DatasetId datasetId = DatasetId.of(projectId, datasetName);
Page<Table> tables = bigquery.listTables(datasetId, TableListOption.pageSize(100));
for (Table table : tables.iterateAll()) {
  // do something
}

Answer 2

您可以尝试使用google云示例maven repo。有一个名为BigQuerySnippets的类，它进行API调用以获取表meta，您可以获取模式。请注意，限制API配额是每秒最多6个并发请求。

Answer 3

from google.cloud import bigquery

client = bigquery.Client(project='your_project_name')

dataset_ref = client.dataset('your_data_set_name')

tables = list(client.list_tables(dataset_ref))
if tables:
    for table in tables:
        print('\t{}'.format(table.table_id))

参考：https://googlecloudplatform.github.io/google-cloud-python/latest/bigquery/usage.html#datasets