将BigQuery联邦表作为数据流中的源读取会引发错误

Question

我在BigQuery中有一个联邦源代码，它指向GCS中的一些CSV文件。

当我尝试读取联邦BigQuery表作为数据流管道的源时，它会引发以下错误：

    1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator  - Error reading from BigQuery table Federated_test_dataflow of dataset CPT_7414_PLAYGROUND : 400 Bad Request
{
  "code" : 400,
  "errors" : [ {
    "domain" : "global",
    "message" : "Cannot list a table of type EXTERNAL.",
    "reason" : "invalid"
  } ],
  "message" : "Cannot list a table of type EXTERNAL."
}

数据流是否不支持BigQuery中的联邦源，或者我做错了什么？我知道我可以将GCS中的文件直接读取到我的管道中，但由于应用程序的设计，我更喜欢使用BigQueryTableRow对象。

 PCollection<TableRow> results = pipeline.apply("fed-test", BigQueryIO.Read.from("<project_id>:CPT_7414_PLAYGROUND.Federated_test_dataflow")).apply(ParDo.of(new DoFn<TableRow, TableRow>() {
        @Override
        public void processElement(ProcessContext c) throws Exception {
            System.out.println(c.element());
        }
    }));

Answer 1

Dataflow BigQuery源设计用于读取“TABLE”类型的BigQuery托管表。（类型定义位于https://cloud.google.com/bigquery/docs/reference/v2/tables#type.)不支持外部表和视图表。

BigQuery“联合表”功能允许bigQuery直接在Google Cloud Storage等地方查询数据。数据流还可以从Google Cloud Storage读取文件，因此您应该能够将数据流计算直接指向您要读取的源。

Answer 2

正如Michael所说，BigQuery不支持直接从外部（联邦表）或视图中读取：即使有效地读取也需要一个查询。

要在数据流中读取这些表，可以使用

BigQueryIO.Read.fromQuery("SELECT * FROM table_or_view_name")

它将发出查询并将结果保存到临时表中，然后开始读取过程。当然，这将导致在BigQuery上进行查询的成本，因此，如果希望重复读取同一视图或外部表，可能需要手动创建表。