从连接两个数据帧的Spark SQL中删除重复项

Question

我有两个火花DF，我需要加入。只选择df1中存在的df2中的值，不应该有重复的行。

例如：

df1：

+-------------+---------------+----------+
|a            |b              |val       |
+-------------+---------------+----------+
| 202003101750|   202003101700|1712384842|
| 202003101740|   202003101700|1590554927|
| 202003101730|   202003101700|1930860788|
| 202003101730|   202003101600|    101713|
| 202003101720|   202003101700|1261542412|
| 202003101720|   202003101600|   1824155|
| 202003101710|   202003101700| 912601761|
+-------------+---------------+----------+

df2：

+-------------+---------------+
|a            |b              |
+-------------+---------------+
| 202003101800|   202003101700|
| 202003101800|   202003101700|
| 202003101750|   202003101700|
| 202003101750|   202003101700|
| 202003101750|   202003101700|
| 202003101750|   202003101700|
| 202003101740|   202003101700|
| 202003101740|   202003101700|
+-------------+---------------+

我正在做以下工作：

df1.join（df2， Seq（"a"，"b"），"leftouter"）. Anywhere（"val"）. isNotNull）但是我的输出有几个重复的行。

+-------------+---------------+----------+
|a            |b              |val       |
+-------------+---------------+----------+
| 202003101750|   202003101700|1712384842|
| 202003101750|   202003101700|1712384842|
| 202003101750|   202003101700|1712384842|
| 202003101750|   202003101700|1712384842|
| 202003101740|   202003101700|1590554927|
| 202003101740|   202003101700|1590554927|
| 202003101740|   202003101700|1590554927|
| 202003101740|   202003101700|1590554927||
+-------------+---------------+----------+

如果val从df1中删除，我试图实现一个类似except的操作。但是除了之外，似乎不起作用。例如，以下是所需的操作df1。下降（col（“val”））。除了（“df2”）之外，df1的模式如下：

root
 |-- a: String (nullable = true)
 |-- b: String (nullable = true)
 |-- val: long (nullable = true)

另外，左外连接和except之间到底有什么区别？预期产出：

+-------------+---------------+----------+
|a            |b              |val       |
+-------------+---------------+----------+
| 202003101750|   202003101700|1712384842|
| 202003101740|   202003101700|1590554927||
+-------------+---------------+----------+




Answer 1

可以使用函数dropDuplicates（），删除所有重复的行：

uniqueDF = df.dropDuplicates()

或者您可以指定要匹配的列：

uniqueDF = df.dropDuplicates("a","b")

Answer 2

左外连接将从左表获取所有行，从右表获取匹配行。

除了将给出与第一个数据帧相比第二个数据帧中不存在的行（没有重复）。

对于您的情况，您可以使用内部（或）外部与dropDuplicates连接。

df1.join(df2, Seq("a", "b"), "inner").dropDuplicates().show()
//+------------+------------+----------+
//|           a|           b|       val|
//+------------+------------+----------+
//|202003101740|202003101700|1590554927|
//|202003101750|202003101700|1712384842|
//+------------+------------+----------+

df1.join(df2, Seq("a", "b"), "rightouter").where(col("val").isNotNull).dropDuplicates().show()
//+------------+------------+----------+
//|           a|           b|       val|
//+------------+------------+----------+
//|202003101740|202003101700|1590554927|
//|202003101750|202003101700|1712384842|
//+------------+------------+----------+