删除配置单元中超过30天的分区

Question

我已经根据日期yyyy-mm-dd对配置单元表进行了分区。我想每天运行一个脚本，可以删除所有超过30天的分区，但在这种情况下，我不想超过日期。我希望它采取系统日期和删除超过30天的分区。

Answer 1

您需要使用Linux/Unix为DROP分区日期设置变量，并在ALTER TABLE语句中使用它。

这里有一个例子

CREATE TABLE ramesh.test
(col1 STRING, 
 col2 STRING)
PARTITIONED BY (partition_date date);

INSERT INTO TABLE ramesh.test PARTITION (partition_date='2017-10-01') VALUES ('key1', 'val1');
INSERT INTO TABLE ramesh.test PARTITION (partition_date='2017-10-02') VALUES ('key2', 'val2');
INSERT INTO TABLE ramesh.test PARTITION (partition_date='2017-11-01') VALUES ('key3', 'val3');

hive --hivevar var_drop_date="$(date -d "30 days ago" +"%Y-%m-%d")" -e 'ALTER TABLE ramesh.test DROP IF EXISTS PARTITION (partition_date <= date "${hivevar:var_drop_date}")'

这将删除30天前的2个分区，并在30天内留下一个分区。

让我知道它对你是否有效。我用CDH测试这个。