在火花 Scala UDF 中定义返回值

Question

想象一下下面的代码：

def myUdf(arg: Int) = udf((vector: MyData) => {
  // complex logic that returns a Double
})

如何定义myUdf的返回类型，以便查看代码的人立即知道它返回了一个Double？

Answer 1

您可以将类型参数传递给＜code＞udf，至少从Spark 2.3.x开始。使用原始示例（这似乎是一个基于＜code＞arg ）的curried函数）：

def myUdf(arg: Int) = udf[Double, Seq[Int]]((vector: Seq[Int]) => {
  13.37 // whatever
})

Answer 2

Spark函数定义了几个udf方法，它们具有以下修饰符/类型：静态

您可以在方括号中指定输入/输出数据类型，如下所示：

def myUdf(arg: Int) = udf[Double, MyData]((vector: MyData) => {
  // complex logic that returns a Double
})

Answer 3

我看到了两种方法，要么先定义一个方法，然后将其提升为一个函数

def myMethod(vector:MyData) : Double = {
  // complex logic that returns a Double
}

val myUdf = udf(myMethod _)

或首先使用显式类型定义函数：

val myFunction: Function1[MyData,Double] = (vector:MyData) => {
  // complex logic that returns a Double
}

val myUdf = udf(myFunction)

我通常为我的UDF使用第一种方法