将avro转换为镶木地板（可能使用蜂巢？）

Question

我正在尝试将存储在HDFS（100Gbs）上的一堆多部分avro文件转换为拼花文件（保留所有数据）

Hive可以使用以下命令将avro文件作为外部表读取:

CREATE EXTERNAL TABLE as_avro 
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' 
STORED as INPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat' 
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat' 
LOCATION '<location>' 
TBLPROPERTIES ('avro.schema.url'='<schema.avsc>');

但是当我试图设计一张拼花桌时:

create external table as_parquet like as_avro stored as parquet location 'hdfs:///xyz.parquet'

它会抛出一个错误：

失败：执行错误，从org.apache.hadoop.hive.ql.exec.DDLTask返回代码1。java.lang.UnsupportedOperationException:未知字段类型：uniontype

是否可以将uniontype转换为外部拼花桌的有效数据类型？

我也乐于接受其他更简单的方法。先生？猪？

寻找一种快速、简单且依赖性最小的方法。

谢谢

Answer 1

尝试拆分此内容：

create external table as_parquet like as_avro stored as parquet location 'hdfs:///xyz.parquet'

分为2个步骤：

>

创建外部表as_parquet（col1 col1_type，...，coln coln_type）存储为镶木地板位置“hdfs:///xyz.parquet”;

插入表as_parquetSELECT*fromas_avro；

或者，如果你有分区，我猜你有这样的数据量：

< code > INSERT INTO TABLE as _ parquet PARTITION(year = 2016，month=07，day=13) SELECT

注意：＜br＞对于步骤1，为了保存列类型中的任何打字错误或小错误，您可以：

< li >运行< code > SHOW CREATE TABLE as _ avro 并复制as_avro table的CREATE语句 < li >替换表格的名称、文件格式和位置 < li >运行新的create语句。

这对我有用...