在配置单元中使用UDF连接两个大表-性能太慢

Question

我在Hive有两张桌子。其中一个有大约200万张唱片，另一个有14个唱片。我要把这两张桌子连在一起。我也在WHERE子句中应用UDF。执行联接操作花费了太多时间。

我多次尝试运行该查询，但它运行了大约2个小时，而我的reducer仍然保持在70%，在此之后，我得到异常“java.io.ioException：设备上没有空间”，作业被杀死。

set mapreduce.task.io.sort.mb=256;
set mapreduce.task.io.sort.factor=100;
set mapreduce.map.output.compress=true;
set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.GzipCodec;
set mapred.child.java.opts=-Xmx1024m;

insert overwrite table output select col1, col2, name1, name2, col3, col4, 
t.zip, t.state from table1 m join table2 t ON (t.state=m.state and t.zip=m.zip) 
where matchStrings(concat(name1,'|',name2))>=0.9;

有人能建议我该做些什么来提高绩效吗？

Answer 1

该异常可能表明集群中没有足够的空间用于运行的查询创建的临时文件。您应该尝试向集群添加更多的磁盘空间，或者通过使用子查询来首先筛选每个表中的行，从而减少联接的行数量。