配置单元中的多表联接

Question

我已经将Teradata表的数据迁移到配置单元中。

如果我使用joins，我需要连接五个表，在hive中可以吗？或者我应该将查询分成五个部分？对于这个问题应该采取什么明智的方法？

请建议

Answer 1

hive中的五种方式连接当然是可能的，而且（自然）可能会很慢到很慢。

您应该考虑在

• 相同的分区列
• 相同数量的分区

SELECT /*+ STREAMTABLE(a) */ a.val, b.val, c.val, d.val, e.val 
FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1) join d on (d.key = c.key) join e on (e.key = d.key)

另一个提示是mapjoin，它有助于在内存中缓存小表。

假设a很大，而b、c、d、e小到足以容纳每个映射器的内存：

 SELECT /*+ MAPJOIN(b,c,d,e) */  a.val, b.val, c.val, d.val, e.val 
 FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1) 
 join d on (d.key = c.key) join e on (e.key = d.key)