根据RDD/Spark数据帧中的特定列从行中删除重复项

Question

假设我有一个相当大的数据集，其形式如下：

data = sc.parallelize([('Foo',41,'US',3),
                       ('Foo',39,'UK',1),
                       ('Bar',57,'CA',2),
                       ('Bar',72,'CA',2),
                       ('Baz',22,'US',6),
                       ('Baz',36,'US',6)])

我想做的是只根据第一、第三和第四列的值删除重复的行。

data = data.distinct()

('Baz',22,'US',6)
('Baz',36,'US',6)

在Python中，这可以通过使用.drop_duplicates()指定列来实现。如何在Spark/PySpark中实现相同的功能？

Answer 1

Pyspark确实包含dropduplicates()方法，该方法在1.4中引入。https://spark.apache.org/docs/latest/api/python/pyspark.sql.sql.html#pyspark.sql.dataframe.dropduplicates

>>> from pyspark.sql import Row
>>> df = sc.parallelize([ \
...     Row(name='Alice', age=5, height=80), \
...     Row(name='Alice', age=5, height=80), \
...     Row(name='Alice', age=10, height=80)]).toDF()
>>> df.dropDuplicates().show()
+---+------+-----+
|age|height| name|
+---+------+-----+
|  5|    80|Alice|
| 10|    80|Alice|
+---+------+-----+

>>> df.dropDuplicates(['name', 'height']).show()
+---+------+-----+
|age|height| name|
+---+------+-----+
|  5|    80|Alice|
+---+------+-----+