基于json数组字段的spark dropDuplicates

Question

我有以下结构的json文件：

{"names":[{"name":"John","lastName":"Doe"},
{"name":"John","lastName":"Marcus"},
{"name":"David","lastName":"Luis"}
]}

我想读取几个这样的json文件，并根据names中的“name”列区分它们。我试过了

df.dropDuplicates(Array("names.name")) 

但它没有起到魔法作用。

Answer 1

这似乎是在Spark2.0中添加的回归。如果将嵌套列提升到最高级别，则可以删除重复项。如果我们基于要删除的列创建一个新列。然后我们删除列，最后删除列。下面的函数也适用于复合键。

val columns = Seq("names.name")
df.withColumn("DEDUP_KEY", concat_ws(",", columns:_*))
  .dropDuplicates("DEDUP_KEY")
  .drop("DEDUP_KEY")