PySpark DataFrame-动态连接多列

Question

假设我在Spark上有两个数据帧

firstdf = sqlContext.createDataFrame([{'firstdf-id':1,'firstdf-column1':2,'firstdf-column2':3,'firstdf-column3':4}, \
{'firstdf-id':2,'firstdf-column1':3,'firstdf-column2':4,'firstdf-column3':5}])

seconddf = sqlContext.createDataFrame([{'seconddf-id':1,'seconddf-column1':2,'seconddf-column2':4,'seconddf-column3':5}, \
{'seconddf-id':2,'seconddf-column1':6,'seconddf-column2':7,'seconddf-column3':8}])

现在，我想通过多个列（任何大于1的数字）连接它们

我拥有的是第一个数据帧的列数组和第二个数据帧中的列数组，这些数组具有相同的大小，我希望通过这些数组中指定的列进行连接。例如：

columnsFirstDf = ['firstdf-id', 'firstdf-column1']
columnsSecondDf = ['seconddf-id', 'seconddf-column1']

因为这些数组大小可变，所以我不能使用这种方法:

from pyspark.sql.functions import *

firstdf.join(seconddf, \
    (col(columnsFirstDf[0]) == col(columnsSecondDf[0])) &
    (col(columnsFirstDf[1]) == col(columnsSecondDf[1])), \
    'inner'
)

是否有任何方法可以动态连接多个列？

Answer 1

@Mohan对不起，我没有做“添加评论”的名声。在两个数据帧上有相同的列，用这些列创建列表并在连接中使用

col_list=["id","column1","column2"]
firstdf.join( seconddf, col_list, "inner")

Answer 2

为什么不使用简单的理解：

firstdf.join(
    seconddf, 
   [col(f) == col(s) for (f, s) in zip(columnsFirstDf, columnsSecondDf)], 
   "inner"
)

由于您使用的是逻辑，因此提供一个不带＜code＞的条件列表就足够了