如何在spark java中删除左外连接后的DataFrame中的重复记录

Question

输入数据如下inpu1为{col1:“val1”，col2:“val2”，col3:“val3”，.....}输入2为acctno^^email_id我正在执行左外部联接以联接此2数据集，并给出最后的输出为{col1:“val1”,col2:“val2”,col3:“val3”,col4:email_id}请查找下面我迄今为止所做的代码片段。

DataFrame DF1 = sqlCtx.jsonRDD(JSONRDD1);
DF1.registerTempTable("DCP");

DataFrame DF2 = sqlCtx.read().json(inputPath1);
DF2.registerTempTable("IDN");

String joinSQL = "SELECT  i.col1,i.col2,i.col3,d.email_id from " IDN i LEFT OUTER JOIN DCP d ON i.col1 = d.acctno ";
DataFrame  joinedDF = sqlCtx.sql(joinSQL);
joinedDF.repartition(1).toJSON().saveAsTextFile("outputpath");

但是最终输出有重复的记录，这是不需要的。我想删除重复的记录。为了删除重复的记录，我在joinedDF上尝试了distinct（）和dropDuplicates()，但是它不能删除重复的记录，并且输出有重复的记录。

Answer 1

在accntno中可能有一些重复项。如果col1在accntno中发现重复项，可能会影响所需的记录。只考虑不同的accntno和do join。