按条件使用 sql 之类的分区加入 Pyspark 数据帧

Question

如何在sql like partition上通过条件连接两个Pyspark数据帧？我实际上需要连接两个数据框，以便对于每个组(基于一个列变量)，我与另一个表外部连接。

例如，我有以下两个数据帧：

DF1：

df2:

所需输出如下：

我尝试过使用Pyspark的< code>Window操作符，但是没有成功，因为它不能用于连接一个窗口。

任何帮助将不胜感激。

Answer 1

我更愿意说，根据您的输出期望，任何类型的连接都缺少一个逻辑。

但是，看看< code > cross join ，它可能与您的期望密切相关。

>>> df_1.crossJoin(df_2).withColumn("match",  when((df_1.batch==df_2.batch) & (df_1.subject==df_2.subject) , "Yes").otherwise("No")).show()
+-------+-----+---------+-----+---------+-----+
|exam_id|batch|  subject|batch|  subject|match|
+-------+-----+---------+-----+---------+-----+
|      1|   X1|    maths|   X1|    maths|  Yes|
|      1|   X1|    maths|   X1|  english|   No|
|      1|   X1|    maths|   X1|chemistry|   No|
|      1|   X1|  english|   X1|    maths|   No|
|      1|   X1|  english|   X1|  english|  Yes|
|      1|   X1|  english|   X1|chemistry|   No|
|      2|   X1|chemistry|   X1|    maths|   No|
|      2|   X1|chemistry|   X1|  english|   No|
|      2|   X1|chemistry|   X1|chemistry|  Yes|
+-------+-----+---------+-----+---------+-----+