udf spark Scala返回案例类

Question

import org.apache.spark.sql.functions._

case class oneClass(a : Int , b: String , c :string)

val doSomthing = udf ((t1 : Seq[String], str : String , values : t2 Seq[String])
    => {
    val pos = t1.indexOf(str)
    if (pos >= 0) oneClass(pos, str,t2(pos))
    //if no control of pos possible return -1 ===> indexoutofboundsexception
    //if control the udf return Any then when I use it ===> Exception
    }
)

如何只在pos时返回case类

Answer 1

如果不应该发生，则抛出异常（火花作业将失败）：

val doSomthing = udf ((t1 : Seq[String], str : String , t2 :Seq[String])=> {
  val pos = t1.indexOf(str)
  if (pos >= 0) oneClass(pos, str,t2(pos)) else {
    throw new IllegalArgumentException
  }
})

否则，请使用＜code＞选项：

val doSomthing = udf ((t1 : Seq[String], str : String , t2 :Seq[String])=> {
  val pos = t1.indexOf(str)
  if (pos >= 0) Some(oneClass(pos, str,t2(pos))) else None
})

在后一种情况下，您的结果将在DataFrame中为null（无翻译为null）

一种模式，如果没有抛出异常，也可以使用它来返回结果:

val doSomthing = udf ((t1 : Seq[String], str : String , t2 :Seq[String])=> {
  scala.util.Try{
  val pos = t1.indexOf(str)
  oneClass(pos, str,t2(pos))
  }.toOption
})

这可能是有用的测试但我不认为这是良好的做法