将带有.tsv文件的HDFS目录映射到配置单元

Question

HDFS中的数据如下所示：

/ad_data/raw/reg_logs/utc_date=2014-06-11/utc_hour=03

注意：数据每天和每小时加载到HDFS目录/ad_data/raw/reg_logs中。

此HDFS目录中有3个.tsv文件：

funel1.tsv
funel2.tsv
funel3.tsv

2344    -39 223
2344    -23 443
2394    -43 98
2377    -12 33
...
...

CREATE EXTERNAL TABLE IF NOT EXISTS reg_logs (
id int,
region_code int,
count int
)
PARTITIONED BY (utc_date STRING, utc_hour STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
LOCATION '/ad_data/raw/reg_logs';

我怎样才能实现呢？如果需要，请更正我的配置单元表模式和获取数据的方法。

==

第二部分：

CREATE EXTERNAL TABLE IF NOT EXISTS reg_logs_org (
id int,
region_code int,
count int
)
PARTITIONED BY (utc_date STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
LOCATION '/ad_data/reg_logs_org';

insert overwrite table reg_logs_org
select id, region_code, sum(count), utc_date
from 
reg_logs
group by 
utc_date, id, region_code

FAILED: SemanticException 1:23 Need to specify partition columns because the destination table is partitioned. Error encountered near token 'reg_logs_org'

Thank you,
Rio

Answer 1

你们很亲密。最后一步是您需要将分区信息添加到Hive的转移体中。配置单元单独存储每个分区的位置，它不会自动查找新分区。有两种方法可以添加分区：

>

每小时执行一次add partition语句：

alter table reg_logs add partition(utc_date='2014-06-11', utc_hour='03')
location '/ad_data/raw/reg_logs/utc_date=2014-06-11/utc_hour=03';

每小时（或不那么频繁）做一次桌子修理。这将扫描根表位置中尚未添加的任何分区。

msck repair table reg_logs;

第一种方法更痛苦，但效率更高。第二种方法很简单，但每次都要对所有分区进行全面扫描。

编辑：问题后半部分：

您只需要添加一些语法，以便使用动态分区插入到表中。一般情况下是：

insert overwrite [table] partition([partition column])
select ...

insert overwrite table reg_logs_org partition(utc_date)
select id, region_code, sum(count), utc_date
from 
reg_logs
group by 
utc_date, id, region_code