配置单元查询在配置单元客户端和JDBC中的不同执行方式

Question

下面的查询是我通过配置单元客户端、Java程序JDBC和Beeline执行的。

SELECT
*
FROM
    TABLE_ONE AS t1
    JOIN TABLE_TWO t2 ON t2.p_id = t1.p_id 
        AND t2.p_n_id = t1.p_n_id 
        AND t2.d_id = t1.d_id
    JOIN TABLE_THREE t3 ON t3.d_m_id = t1.d_m_id
        AND t3.d_p_id = t1.d_p_id
    JOIN TABLE_FOUR t4 ON t4.c_id = t1.c_id
    JOIN TABLE_FIVE t5 ON t5.a_n_id = t1.a_n_id
    JOIN TABLE_SIX t6 ON t6.d_p_p_s_id = t1.d_p_p_s_id
        AND t6.a_v_id = t1.a_v_id
        AND t6.p_f_id = t1.p_f_id

在Hive cilent上执行时，只需21s就完成了，而Java程序JDBC和beeline分别需要110s和200s。

DriverManager.getConnection("jdbc:hive2://<ip address of hive gateway server>:10000/default?zeroDateTimeBehavior=round").

• 配置单元客户端仅使用一个映射器就完成了此操作。
• Java JDBC和beeline执行了5个MR作业。每个MR作业需要2个映射器和1个还原器。

下面是每个表的行计数。

• table_one有44981条记录。
• table_two有2173条记录。
• table_three有1415条记录。
• table_four有249条记录。
• table_five有168条记录。
• table_six有255条记录。
• 输出有33362条记录。

Answer 1

一些可以帮助您调试的建议：

从beeline客户端运行时设置的属性&通过JDBC。

我怀疑属性hive.auto.convert.join导致了此行为。

赫特。