有没有一个Spark内置的可以扁平化嵌套数组？

Question

我有一个数据帧字段，它是一个＜code＞Seq[Seq[String].

def combineSentences(inCol: String, outCol: String): DataFrame => DataFrame = {

    def flatfunc(seqOfSeq: Seq[Seq[String]]): Seq[String] = seqOfSeq match {
        case null => Seq.empty[String]
        case _ => seqOfSeq.flatten
    }
    df: DataFrame => df.withColumn(outCol, udf(flatfunc _).apply(col(inCol)))
}

我的用例是字符串，但显然，这可能是通用的。您可以在数据帧转换链中使用此函数，如：

df.transform(combineSentences(inCol, outCol))

是否有一个Spark内置函数可以做同样的事情？我找不到一个。

Answer 1

有一个类似的函数（从Spark 2.4开始），它被称为扁平化：

import org.apache.spark.sql.functions.flatten

来自官方文件:

def展平（e:列）：列

从数组的数组创建单个数组。如果嵌套数组的结构深度超过两层，则只移除一层嵌套。

自从

2.4.0

要获得确切的等效项，您必须合并以替换 NULL。