从pyspark中的数据框中删除重复项

Question

我在本地弄乱了pyspark 1.4中的数据帧，并且在使dropplicates方法起作用时遇到了问题。不断返回错误"AttributeError: 'list' object has no attribute 'dropDuplicates'"。我不太确定为什么这样做，因为我似乎遵循最新文档中的语法。似乎我缺少该功能的导入。

#loading the CSV file into an RDD in order to start working with the data
rdd1 = sc.textFile("C:\myfilename.csv").map(lambda line: (line.split(",")[0], line.split(",")[1], line.split(",")[2], line.split(",")[3])).collect()

#loading the RDD object into a dataframe and assigning column names
df1 = sqlContext.createDataFrame(rdd1, ['column1', 'column2', 'column3', 'column4']).collect()

#dropping duplicates from the dataframe
df1.dropDuplicates().show()

Answer 1

这不是导入问题。您只是调用.dropDuplicates()了错误的对象。虽然类sqlContext.createDataFrame(rdd1,...)为pyspark.sql.dataframe.DataFrame，但应用后.collect()为纯Python
list，列表不提供dropDuplicates方法。您想要的是这样的：

 (df1 = sqlContext
     .createDataFrame(rdd1, ['column1', 'column2', 'column3', 'column4'])
     .dropDuplicates())

 df1.collect()