无法在BigQuery中加载嵌套的Json数据

Question

我试图在大查询中加载嵌套的json数据。

这是我正在使用的数据和模式...

scehma -

[{“名称”：“种类”、“类型”：“字符串”}、{“名称”：“全名”、“类型”：“字符串”}、{“名称”：“年龄”、“类型”：“整数”}、{“名称”：“居住的城市”、“类型”：“记录”、“字段”：[{“名称”：“地点”、“类型”：“字符串”}、{“名称”：“年数”、“类型”：“整数”}]}]

资料--

{“kind”： “person”， “fullName”： “John Doe”， “age”： 22， “citiesLived”： [{ “place”： “Seattle”， “numberOfYears”： 5}， {“place”： “Stockholm”， “numberOfYears”： 6}]} {“kind”： “person”， “fullName”： “Jane Austen”， “age”： 24， “citiesLived”： [{“place”： “Los Angeles”， “numberOfYears”： 2}， {“place”： “Tokyo”， “numberOfYears”： 2}]}

try {
    bigquery.datasets().insert(PROJECT_ID, dataset).execute();
} catch (IOException e) {
    System.out.println(e);
}

  // Set where you are importing from (i.e. the Google Cloud Storage paths).
  List<String> sources = new ArrayList<String>();
  sources.add("gs://gc_data/json_test_new_flat.json");
  loadConfig.setSourceUris(sources);
  loadConfig.setSourceFormat("NEWLINE_DELIMITED_JSON");
  //loadConfig.setFieldDelimiter("\n");

  // Describe the resulting table you are importing to:
  TableReference tableRef = new TableReference();
  tableRef.setDatasetId("myDataset");
  tableRef.setTableId("myTableJSONNew");
  tableRef.setProjectId(projectId);
  loadConfig.setDestinationTable(tableRef);

  List<TableFieldSchema> fields = new ArrayList<TableFieldSchema>();
  TableFieldSchema fieldKind = new TableFieldSchema();
  fieldKind.setName("kind");
  fieldKind.setType("STRING");
  TableFieldSchema fieldFullName = new TableFieldSchema();
  fieldFullName.setName("fullName");
  fieldFullName.setType("STRING");

  TableFieldSchema fieldAge = new TableFieldSchema();
  fieldAge.setName("age");
  fieldAge.setType("INTEGER");


  TableFieldSchema fieldJSON = new TableFieldSchema();
  fieldJSON.setName("citiesLived");
  fieldJSON.setType("RECORD");

  // this is for record
  List<TableFieldSchema> listOfJSonSchema = new ArrayList<TableFieldSchema>();
  TableFieldSchema fieldPlace = new TableFieldSchema();
  fieldPlace.setName("place");
  fieldPlace.setType("STRING");

  TableFieldSchema fieldnumberOfYears = new TableFieldSchema();
  fieldnumberOfYears.setName("numberOfYears");
  fieldnumberOfYears.setType("INTEGER");
  listOfJSonSchema.add(fieldPlace);
  listOfJSonSchema.add(fieldnumberOfYears);
  //



  fieldJSON.setFields(listOfJSonSchema);

  fields.add(fieldKind);
  fields.add(fieldFullName);
  fields.add(fieldAge);
  fields.add(fieldJSON);
  TableSchema schema = new TableSchema();
  schema.setFields(fields);  // This is to set delimiter

  loadConfig.setSchema(schema);

  Insert insert = bigquery.jobs().insert(projectId, job);
  insert.setProjectId(projectId);
  JobReference jobRef =  insert.execute().getJobReference();
  System.out.println(jobRef.toPrettyString());

Answer 1

您已经定义了citiesLive记录，但看起来您还没有指示该记录是可重复的，这就是您的示例数据所指示的。尝试在citiesLive字段上使用setMode（“REPEATED”）。