使用Apache Beam将嵌套记录写入BigQuery

Question

我试图使用Apache Beam将一些看起来像Json的数据流作为字符串写入BigQuery。数据是一个数组中的一个数组，由于不可能将嵌套数组写入Bigquery，所以我在主记录地址中创建了一个子记录Address_Instance。我需要帮助将我的嵌套记录写入BigQuery。

下面是我的数据的样子，以及我如何将其转换为BigqueryTableRow。

  String data = "[{Address=[[{\"Street:\"someStreet\",\"City\":\"someCity\"}]]}]";

  List<TableCell> childFields = new ArrayList<>();


  for (int i = 0; i < data.length(); i++) {
    TableCell tableCell = new TableCell();

    ...
    for each key value pair
    { tableCell.set(key, value); }
    ...

                          
    childFields.add(tableCell);
  }

   //return TableRow
  
   new TableRow.set(key, new TableCell().setV(new TableRow().set(key + "_INSTANCE", childFields)));

这就是我得到的错误：

Repeated record with name Address added outside of an array

下面是我的BigQuery模式的样子：

[
  {
    "name": "Address",
    "type": "RECORD",
    "mode": "REPEATED",
    "fields": [
      {
        "name": "Address_Instance
        "mode": "REPEATED",
        "fields": [
          {
            "name": "Street",
            "type": "STRING"
          },
          {
            "name": "City",
            "type": "STRING"
          }
        ]
      }
    ]
  }
]

如何使用现有模式将上面的嵌套记录写入Bigquery？会很感激你的帮助。多谢了。

Answer 1

可以在BigQuery中编写嵌套字段，但需要正确定义模式。从您的代码来看，您似乎希望将字符串存储在将列定义为RECORD的表中。

我建议您查看BigQuery https://cloud.google.com/BigQuery/docs/nested-repeated并根据需要定义模式，然后尝试插入JSON对象而不是字符串。