在Spark-Scala中进行迭代连接有其他方法吗

Question

用例是在给定列中找到最多n行（可以是n列数），一旦有了n个键，就可以将其连接回原始数据集，以获得所需的所有行

val v1 = actors.join(df, Seq("id"), "inner")
val v2 =actors.join(df, Seq("firstname"), "inner")
val v3 =actors.join(df, Seq("lastname"), "inner")
val output = v1.union(v2).union(v3)

Answer 1

@Chlebek解决方案应该工作得很好，这是在您希望复制初始逻辑的情况下的另一种方法：

val cols = Seq("id", "firstname", "lastname")

val final_df = cols.map{
     df.join(actors, Seq(_), "inner") 
}
.reduce(_ union _)

首先，我们为每列生成一个内部联接，然后将它们联合起来。