通过命令行将Avro数据加载到BigQuery？

Question

我创建了一个avro配置单元表，并使用配置单元插入覆盖命令将数据从另一个表加载到avro表中。我可以在avro配置单元表中看到数据，但当我尝试将其加载到bigQuery表中时，会出现错误。表架构：-

CREATE TABLE `adityadb1.gold_hcth_prfl_datatype_acceptence`(  
  `prfl_id` bigint,     
  `crd_dtl` array< struct < cust_crd_id:bigint,crd_nbr:string,crd_typ_cde:string,crd_typ_cde_desc:string,crdhldr_nm:string,crd_exprn_dte:string,acct_nbr:string,cre_sys_cde:string,cre_sys_cde_desc:string,last_upd_sys_cde:string,last_upd_sys_cde_desc:string,cre_tmst:string,last_upd_tmst:string,str_nbr:int,lng_crd_nbr:string>>)        
STORED AS AVRO;

我收到的错误：-

Error encountered during job execution:
Error while reading data, error message: The Apache Avro library failed to read data with the follwing error: Cannot resolve:

我使用以下命令将数据加载到bigquery中：-

bq load --source_format=AVRO dataset.tableName avro-filePath

Answer 1

确保您指向的gs文件夹中有可用的数据，并且数据包含架构（如果您从Hive创建它，则应该如此）。这里有一个如何加载数据的示例

bq --location=US load --source_format=AVRO  --noreplace my_dataset.my_avro_table gs://myfolder/mytablefolder/part-m-00001.avro