当底层表被扣入时，Spark如何在连接表时减少洗牌

Question

我在多个论坛上读到，当您的基础表被存储桶和排序时，在执行排序合并联接时，随机播放会减少。但是，我的问题如下

排序的存储桶只会保证存储桶中的数据大约是相同的一组键，并且数据被排序。假设我们有2个数据帧d1和d2，两者都被排序和扣分。

1. spark是否保证包含key1和key2数据的d1表的bucketx与包含key1与key2的d2表的bucky在同一台机器上

如果保证 bucketx 和 buckety 位于同一台计算机上，则在执行排序-合并联接时，节点之间将没有 Exchange。如果他们可以坐在不同的机器上。那么在做连接时应该有数据交换。

请帮助理解这个概念。提前谢谢。

Answer 1

你的理解是正确的。SortMergeJoin 需要对数据进行 RangePartition 处理。

如果你的数据帧 df1 和 df2 已经由键 k 上的 RangePartitioner 分区（也用于连接），那么就不会有额外的交换，否则会有。