Scala：可变UDF

Question

我有一个包含许多列的数据框架。我也有一个功能

def getFeatureVector(features:Array[String]) : Vector

这相当复杂，但需要一些字符串并返回一个火花MLlib向量。

现在，我想查看DF中的一些列（我事先不知道是哪一列），将它们传递给getFeatureVector，并添加一个包含结果向量的新列。

我可以访问我想要使用的列的数组，我写了一个函数将它转换为string，并生成一个数组列:

val colNamesToEncode = Array("col1", "col2", "col3", "col4")
def getColsToEncode:Column = {
    val cols = colNamesToEncode.map(x => col(x).cast("string"))
    array(cols:_*)
}

最后，我尝试制作一个udf并将其应用于df:

val encoderUDF = udf(getFeatureVector _)
val cols = getColsToEncode()
data.withColumn(featuresColName,encoderUDF(cols))

但是当我运行它时，我得到java.lang.RuntimeException：不支持的文字类型类scala.runtime.BoxedUnit（）

如何将函数应用于DF？

PS:我在写代码的时候用这个答案(Spark UDF和varargs)作为指导。

Answer 1

您可以直接将函数传递到 udf 函数中。

val colNamesToEncode = Array("col1", "col2", "col3", "col4")
def getColsToEncode:Column = {
val cols = colNamesToEncode.map(x => col(x).cast("string"))
array(cols:_*)
}

val encoderUDF = udf(getFeatureVector _)
data.withColumn(featuresColName,encoderUDF(getColsToEncode))

Answer 2

只需从下面的行中删除（），即可解决错误。

从 val cols = getColsToEncode（）

自

val cols = getColsToEncode