指定从配置单元插入生成的最小文件数

Answer 1

在Insert...Select期间生成的文件数取决于在最终还原器（如果在Tez上运行，则为最终还原器顶点）上运行的进程数以及每个配置的还原器的字节数。

如果表是分区的，并且没有指定distributeBy，那么在最坏的情况下，每个还原器在每个分区中创建文件。这会在减速器上产生高压，并可能导致OOM异常。

要确保每个还原器只写入一个分区文件，请在查询末尾添加distribute BY partition_column。

INSERT OVERWRITE table PARTITION(part_col)
SELECT * 
  FROM src
DISTRIBUTE BY  part_col, FLOOR(RAND()*100.0)%10; --10 files per partition

set hive.exec.reducers.bytes.per.reducer=67108864; 

如果您有太多的数据，Hive将启动更多的reducer来处理每个reducer进程上指定的不超过字节的每个reducer。还原器越多--生成的文件就越多。减少此设置可能会增加正在运行的还原器的数量，并且每个还原器至少会创建一个文件。如果分区列不在distributeBy中，则每个还原器可以在每个分区中创建文件。

长话短说，使用

DISTRIBUTE BY  part_col, FLOOR(RAND()*100.0)%10 -- 10 files per partition

如果您希望每个分区有20个文件，请使用FLOOR（兰德（）*100.0)%20；-如果您有足够的数据，这将保证每个分区至少20个文件，但不能保证每个文件的最大大小。