如何在向桶中插入数据的同时合并hive创建的小文件？

Question

我有一个包含呼叫数据记录的配置单元表。我在电话号码上对表进行了分区，并在CALL_DATE上对表进行了bucked处理。现在，当我在hive中插入数据时，过时的call_date会在我的bucket中创建小文件，这会创建名称、节点、元数据、增加和性能降低。有没有办法把这些小文件合二为一。

Answer 1

在使用配置单元将文件插入到表中时控制文件大小的一种方法是设置以下参数：

set hive.merge.tezfiles=true;
set hive.merge.mapfiles=true;
set hive.merge.mapredfiles=true;
set hive.merge.size.per.task=128000000;
set hive.merge.smallfiles.avgsize=128000000;

这将适用于M/R和Tez引擎，并将确保创建的所有文件的大小都在128 MB或以下（您可以根据您的用例更改该大小。其他阅读：https://community.cloudera.com/t5/community-articles/orc-creation-best-practices/ta-p/248963）。

合并表文件的最简单的方法是重新制作表,同时在运行时运行上述配置单元命令：

CREATE TABLE new_table LIKE old_table;
INSERT INTO new_table select * from old_table;

ALTER TABLE table_name [PARTITION (partition_key = 'partition_value')] CONCATENATE;