BigQuery：带有WriteToBigQuery的数组字段

Question

我正在用Python创建一个Google Dataflow模板：

query = "#standardSQL" +  """
SELECT
  Frame.Serial,
  Frame.Fecha,
  Frame.Longitud,
  Frame.Latitud,
  ARRAY_AGG (CONCAT (ID, '-', Valor) ORDER BY ID) AS Resumen
FROM <...>


TABLE_SCHEMA = 'Serial:STRING,Fecha:DATETIME,Longitud:STRING,Latitud:STRING,Resumen:STRING'

| 'Read from BQ' >> beam.io.Read(beam.io.BigQuerySource(query=query,dataset="xxx",use_standard_sql=True))

| 'Write transform to BigQuery' >> WriteToBigQuery('table',TABLE_SCHEMA)

此“到期恢复失败”字段为数组：

为非重复字段指定的数组。

>

直接在BigQuery UI中创建表，并使用以下语句：

创建表测试（Resumen Array )

这管用。创建该表时使用：

• 类型:字符串
• 模式:重复

更改TABLE_SCHEMA并运行管道：

table_schema=“serial：string,fecha：datetime,unidorud：string,latitud：string,resumen：array ”

错误为：

"Invalid value for: ARRAY\u003cSTRING\u003e is not a valid value".

table_schema应该如何创建表并与beam.io.WriteTobigQuery()一起使用？

Answer 1

如果在单个字符串中指定BQ模式，则似乎不支持重复或嵌套字段：https://beam.apache.org/documentation/io/build-in/google-bigquery/#creating-a-table-schema

您需要显式描述您的模式，并将字段模式设置为repeated:https://github.com/apache/beam/blob/master/sdks/python/apache_beam/examples/cookbook/bigquery_schema.py#l95

# A repeated field.
children_schema = bigquery.TableFieldSchema()
children_schema.name = 'children'
children_schema.type = 'string'
children_schema.mode = 'repeated'
table_schema.fields.append(children_schema)