Hive动态分区插入覆盖从选择语句不加载动态分区的数据

Question

insert overwrite from select语句中的配置单元动态分区没有加载动态分区的数据，而是提供了数据配置单元默认分区。

如果我说显示分区表2；

它只给出一个分区细节，即配置单元默认分区

我有一个没有任何分区的暂存表，它从序列文件中读取数据。

如果不存在，则创建外部表table1（DS字符串、col1字符串、col2字符串、col3字符串）
行格式分隔字段，以存储为SEQUENCEFILE LOCATION“/user/”TBLProperty的“\t”结尾（“skip.header.line.count”=“1”）；

对于来自文件的字段DS，日期格式为m/d/yy。

然后我创建生产表如下。

如果不存在，则创建外部表table2（col1字符串、col2字符串、col3字符串）
由存储为SEQUENCEFILE TBLProperty的（DS字符串）分区（“skip.header.line.count”=“1”）；

设置蜂箱。执行官。动态隔断模式=不严格；

然后插入查询，如下所示

插入覆盖表table2分区（DS）从表1中选择col1、col2、col3、cast（DS作为日期）；

当我查询表2我得到的结果如下

d1 d2 d3配置单元默认分区d4 d5 d5配置单元默认分区

对于最后一列，我希望分区列中有一个日期字段，而不是HIVE_DEFAULT_partition

我的预期数据就像

d1 d2 d3 5/1/17 d4 d5 d5 5/1/17

有人能帮忙吗？

Answer 1

到目前为止，唯一可以直接转换的格式是yyyy-mm-dd任何尝试从另一种格式转换的结果都是空的，因此所有记录都会转到默认分区。

• 将分区列定义为DATE（PARTITIONED BY（DS date））
• 使用to_date（from_unixtime（to_unix_timestamp（DS，'M/d/y'）））进行转换

hive> select cast('5/1/17' as date) as ds;
OK
ds
NULL

hive> select cast('2015-05-01' as date) as ds;
OK
ds
2015-05-01

hive> select to_date(from_unixtime(to_unix_timestamp('5/1/17','M/d/y'))) as ds;
OK
ds
2017-05-01