Spark连接列表中有2个不同列名的2个数据框

Question

有没有办法通过两个列表< code>join两个< code > Spark data frame 具有不同的列名？

我知道如果他们在列表中有相同的名字，我可以做以下事情：

val joindf = df1.join(df2, Seq("col_a", "col_b"), "left")

或者，如果我知道不同的列名，我可以这样做:

df1.join(
df2, 
df1("col_a") <=> df2("col_x")
    && df1("col_b") <=> df2("col_y"),
"left"
)

由于我的方法需要2个列表的输入，这些列表指定哪些列将用于每个DF的连接，因此我想知道Scala Spark是否有办法做到这一点？

页（page的缩写）我在寻找类似python的东西< code >熊猫合并:

joindf = pd.merge(df1, df2, left_on = list1, right_on = list2, how = 'left')

Answer 1

如果您需要两个字符串列表：

val leftOn = Seq("col_a", "col_b")
val rightOn = Seq("col_x", "coly")

只需压缩并减少：

import org.apache.spark.sql.functions.col

val on = leftOn.zip(rightOn)
  .map { case (x, y) => df1(x) <=> df2(y) }
  .reduce(_ and _)

df1.join(df2, on, "left")

Answer 2

您可以自己轻松定义这样的方法：

 def merge(left: DataFrame, right: DataFrame, left_on: Seq[String], right_on: Seq[String], how: String) = {
      import org.apache.spark.sql.functions.lit
      val joinExpr = left_on.zip(right_on).foldLeft(lit(true)) { case (acc, (lkey, rkey)) => acc and (left(lkey) === right(rkey)) }
      left.join(right, joinExpr, how)
    }


val df1 = Seq((1, "a")).toDF("id1", "n1")
val df2 = Seq((1, "a")).toDF("id2", "n2")

val joindf = merge(df1, df2, left_on = Seq("id1", "n1"), right_on = Seq("id2", "n2"), how = "left")