配置单元导出到架构中没有列名的AVRO

Question

我尝试在Hive中创建一个表，并希望将其导出为Avro格式。

create table if not exists test_txt (id int, name varchar(40)); 
insert into test values (1, "AK");
insert overwrite directory "/tmp/test" stored as avro select * from test;
!sh hadoop fs -cat /tmp/test/*;

谢谢,

AK

Answer 1

如果一个avro二进制文件需要导出到一个单独的文件以便进一步摄取（在我的上下文中是BigQuery)，那么不要使用hadoop cat/insert overwrite语句。使用avro-tools并concat到一个大的avro文件。

hadoop jar avro-tools-1.8.2.jar concat/tmp/test_avro/*big_avro_table.avro