使用pyspark查找两个数据帧上每个对应列的值之差

Question

我想找出使用内部联接联接时两个数据帧的列值之间的差异。

df1有10列，即。key 1， key 2

df3=df1.join（df2，'df1.key1==df2.key1和df1.key2==df2.key2'，'内'）

现在我想比较连接的df3中已经存在的两个数据帧df1和df2的对应列。

现在我对zip(df1.columns，df2.columns)中的每个x，y进行循环，并存储在list < code > un match list . append((df3 . select(df1 . x，df2.y))中。过滤器(df1.x

我能避免这个循环吗，因为它在这里大量使用内存。我还在做其他计算，但这只是我展示的一小段代码。这背后的想法是找出对应列中的不同值，以匹配两个数据帧的行。exceptAll不适用于此要求，因为它根据列的位置来查找差异。只有当两个数据帧的键匹配时，我才需要找出不同之处。

数据流1

key1 key2 col1 col2 col3 col4 col5

k11  k21   1    1    1    1    1

k12  k22   2    2    2    2    2

DF2

key1 key2 col1 col2 col3 col4 col5

k11  k21   1    1    2    1    1

k12  k22   2    3    2    3    4

我想要的最终输出是

key1 key2 col  val1 val2

k11  k21  col3 1    2

k12  k22  col2 2    3

k12  k22  col4 2    3

k12  k22  col5 2    4

val1是从df1获取，val2是从df2获取

Answer 1

这里的问题是，如果DataFrame中的列数很高，那么循环的性能就会下降。它进一步导致输出内存结果。

我们可以使用数据帧，并将每次迭代的结果存储（附加或插入）到某个hdfs位置或hive表中，而不是将结果存储在列表中。

for x,y in zip(df1.columns,df2.columns)
    outputDF=joinedDF.filter(col(x) <> col(y))
                 .withColumns('key1',lit(key1))
                 .withColumns('key2',lit(key2))
                 .withColumns('col',lit(x))
                 .withColumns('val1',col(x))
                 .withColumns('val2',col(y))

    outputDF.partitionBy(x).coalesce(1).write.mode('append').format('hive').saveAsTable('DB.Table')````

#Another approach can be if no of columns are less (10-15):#
    outputDF=outputDF.union(joinedDF.filter(col(x) <> col(y))
                 .withColumns('key1',lit(key1))
                 .withColumns('key2',lit(key2))
                 .withColumns('col',lit(x))
                 .withColumns('val1',col(x))
                 .withColumns('val2',col(y)))

outputDF.partitionBy(x).coalesce(1).write.mode('append').format('hive').saveAsTable('DB.Table')