优化两个大型pyspark数据帧的连接

Question

我有两个包含GB数据的大型pyspark数据框df1和df2。第一个数据框中的列是id1，col1。第二个数据框中的列是id2，col2。数据框的行数相等。id1和id2的所有值都是唯一的。id1的所有值也正好对应一个值id2。

因为。前几个条目与df1和df2区域相同，如下所示

DF1：

 id1 |  col1
  12 |  john
  23 |  chris
  35 |  david

df2:

id2  |   col2
 23  |  lewis
 35  |  boon
 12  |  cena

所以我需要连接键 id1 和 id2 上的两个数据帧。df = df1.join（df2， df1.id1 == df2.id2） 恐怕这可能会受到洗牌的影响。如何针对此特殊情况优化连接操作？

Answer 1

为了避免联接操作时的混乱，请根据您的id列重新排列数据。

重新洗牌操作也将进行完全洗牌，但如果有多个加入，它将优化您的进一步加入。

df1 = df1.repartition('id1')
df2 = df2.repartition('id2')

避免联接时随机播放的另一种方法是利用存储桶。

通过在id上使用bucketBy子句来保存两个数据帧，然后当稍后读取数据帧时，id列将驻留在相同的执行器中，从而避免了混洗。

但是，为了利用bucketing的好处，您需要一个蜂巢元存储，因为其中包含bucketing信息。

此外，这将包括创建存储桶然后读取的额外步骤。