Spark SQL/Hive查询永远使用Join

Question

所以我在做一些应该很简单的事情，但显然不是在Spark SQL中。

SELECT ua.address_id
FROM user u
inner join user_address ua on ua.address_id = u.user_address_id
WHERE u.user_id = 123;

null

表有外键字段，但数据库中没有定义显式fk关系。我在用Innodb。

Spark中的执行计划：

计划：

==物理计划==TungstenProject[Address_ID#0L]

Answer 1

首先，您执行的查询类型效率极低。就目前而言（Spark 1.5.0*)，要执行这样的联接，每次执行查询时都必须对两个表进行洗牌/哈希分区。在users表中，user_id=123谓词很可能是下推的，但仍然需要对user_address进行完全洗牌，这应该不成问题。

此外，如果表只注册而不缓存，那么每次执行该查询都会从MySQL中获取整个user_address表到Spark。

我不确定我在这里做错了什么，我如何才能加快速度。

如果单个表/数据帧小得多，可以尝试广播。

import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.functions.broadcast

val user: DataFrame = ???
val user_address: DataFrame = ???

val userFiltered = user.where(???)

user_addresses.join(
  broadcast(userFiltered), $"address_id" === $"user_address_id")

*这应该在Spark 1.6.0的SPARK-11410中有所改变，它应该启用持久的表分区。