在spark scala函数中将列表作为参数传递给错误[重复]

Question

我有一个spark scala udf，它将一个参数作为dataframe的列，其他参数作为列表，但当我运行函数时，它抛出错误，指向列表参数为

类型不匹配，找到spark.sql.row，需要spark.sql.column

请引导

Answer 1

您可以使用lit将常量值传递给udf，或者使用返回udf定义一个方法（我喜欢的方式）：

def udf_name(List_name:List[String]) = {
  udf((name:String) => {
    // do something 
    List_name.contains(name)
  })
}

val List_name : List[String] = ???

df
  .withColumn("is_name_in_list", udf_name(List_name)($"column_name"))