加入PySparkSQL已在键子集中分区的DataFrames

Question

我想加入 2 个 Spark 数据帧，这些数据帧已在我用于联接的键的子集中进行了分区。但是当我这样做时，交换操作仍然会发生。如何在没有交换或广播的情况下加入他们。

例如，我有DataFrame df1和df2。它们都有相同的列，即col1、col2、col3。它们都已经使用col1进行了分区。我想使用col1和col2加入它们。但是当我这样做时，它会再次使用col1和col2重新分区。

Answer 1

AFAIK，数据帧需要由两侧的同一列分区，以便进行一次洗牌。

例如:

right_df = right_df.repartition(400)
left_df = left_df.repartition(400) # will lead to one more shuffle when join operation is used down the line
df = left_df.join(right_df, col("id") == col("user_id"), "outter")

left_df = left_df.withColumnRenamed("id", "repartition_id").repartition(400, col("repartition_id")
right_df = right_df.withColumnRenamed("user_id", "repartition_id").repartition(400, col("repartition_id")
df = left_df.join(right_df, "repartition_id", "outter")