Spark SQL Join：它的实际工作原理

Question

我未能弄清楚Spark SQL join操作实际上是如何工作的。我读过相当多的解释，但它没有给一些问题带来光明。

例如，您有两个以Spark（parquet或任何其他格式）保存的数据库表。您必须根据一些列加入它们：

SELECT t1.column_name_1 
FROM parquet.`data/table1.parquet` as t1 
LEFT JOIN parquet.`data/table2.parquet` as t2 
ON t2.column_name_2 = t1.column_name_1 
WHERE t2.column_name_2 is NULL 
LIMIT 1

我将以sparksession.sql(joinQuery)的形式启动该查询

null

table1 JOIN table2 = table1_subset1 JOIN table2 + table1_subset2 JOIN table2 

table1 JOIN table2 = table1_subset1 JOIN table2_subset1 + table1_subset2 JOIN table2_subset1 +
                     table1_subset1 JOIN table2_subset2 + table1_subset2 JOIN table2_subset2  

现在我必须连接大约50对巨大的表，它们中的每一个都应该被分成多个块（子集），比如说5个块。因此，我将获得块之间的50 joins50*5*5=1250筛选和联接操作，而不是50 joins，其中每个块比原始表(RDD)小5倍。

如果我认为性能会大大降低，我说得对吗？或者Spark足够聪明，可以执行相同数量的洗牌？




Answer 1

1）您可以通过显式设置spark.shuffle.manager（默认为sort）在shuffle sort join或shuffle hash join之间进行选择。这里有更多的信息。当两个表中都有很多键时，hash更有效。

2）为了解决这个问题，您需要在到达此点之前对数据进行筛选。实际上，添加一个步骤会更快，即创建一个表示您关心的数据子集的DataFrame。如果您无法将DataFrame放入内存，默认情况下Spark也会溢出到磁盘。对于占用所有内存的大型DataFrame，您可以使用saveAsTable（）。