Google Dataflow：如何在大查询中插入记录非重复类型字段？

Question

我是数据流的新手。我有一个预定义的模式，包含一个名为“device”的非重复记录字段：

device.configId: STRING
device.version: STRING

使用ParDo转换，我尝试插入带有这种字段的TableRow，如下所示：

TableRow row = new TableRow();
row.put("field1", "val1");
TableRow device = new TableRow();
device.put("configId", "conf1");
device.put("version", "1.2.3");
row.put("device", device);
out.output(row);

我记录了表行，它看起来是这样的：

{field1=val1, device={configId=conf1, version=1.2.3}}

我将它输出到一个标准转换：bigQueryIo.write（）

但后者发出错误：

java.lang.RuntimeException: java.io.IOException:
Insert failed: [{"errors":[{
    "debugInfo":"",
    "location":"device.configid",
    "message":"This field is not a record.",
    "reason":"invalid"
}],"index":0}]

不知道为什么，但请注意lowecase中的位置拼写为“configid”--而不是原始日志中的camel大小写。

对于如何将这样的对象插入BigQuery有什么想法吗？

Answer 1

发现了问题所在。显然，只有当“configid”字段设置为null而不是“conf1”时，才会出现此错误消息。确切地说，它被隐式地设置为来自某个输入对象的JSONObject.null。