从BigQuery结果PCollection获取TableSchema

Question

当我在BigQuery Web
UI中运行查询时，结果显示在一个表中，在该表中，每个字段的名称和类型均已知（即使字段是COUNT（），AVG（），…操作，类型领域当然是已知的）。然后可以将结果直接导出为table
/ json / csv。

我的问题是，当我在Java项目中检索查询结果时，例如使用查询：

String query =  "SELECT nationality, COUNT(DISTINCT personID) AS population 
                 FROM Dataset.Table 
                 GROUP BY nationality";

PCollection<TableRow> result = p.apply(BigQueryIO.Read.fromQuery(query));

…可以在result不显式定义的情况下在PCollection中获取TableRow的架构吗？我认为这是有可能的，因为使用BigQuery Web
UI时使用相同的查询是可能的。但是我不知道该怎么做…

TableSchema schema =  // function of PCollection<TableRow> result ?

result.apply(BigQueryIO.Write
                .named("Write Results Table")
                .to(getTableReference(tableName))
                .withSchema(schema));

这样，查询结果可以始终自动导出/保存到新表中（然后只需显式提供表名）。

有任何想法吗？任何帮助，将不胜感激 ：）

Answer 1

不幸的是，Dataflow SDK并未公开BigQuery通过Dataflow的BigQueryIOAPI 返回的架构。单独在Dataflow
API中没有“好的”解决方法。

手动定义架构是一种解决方法。

另外，您可以jobs: query在管道构建时直接通过BigQuery单独查询，然后将其结果传递给BigQueryIO.Write转换。这可能会产生额外的成本，但是可以通过稍微更改查询以减少处理的数据量来减轻。输出的正确性无关紧要，因为您仅存储模式。