星火国际和整数，udf

Question

我刚开始学火花。我试图为我的数据帧定义一个UDF。这是一个非常简单的函数：列是dataframe中的长类型。

def category: (Int => Int) ={ a=>

if(a<7){
    return a
}
else{
    if(a>=7 && a<14){
        return 8
    }
    else{
        if(a>=14 && a<28){
            return 9
        }
        else{
            return 10


           }
        }
    }

}

import org.apache.spark.sql.functions.udf
val myudf = udf(category)

val df_1 = df.withColumn("ncol", myudf($col))

它总是报告错误：

:78: error: type mismatch;
 found   : Int
 required: Int => Int
               return a
                      ^
:82: error: type mismatch;
 found   : Int(8)
 required: Int => Int
                   return 8
                          ^
:86: error: type mismatch;
 found   : Int(9)
 required: Int => Int
                       return 9
                              ^
:89: error: type mismatch;
 found   : Int(10)
 required: Int => Int
                       return 10
                              ^

Answer 1

假定列类型为Long，则类别方法应采用Long参数，而不是Int。下面是我如何定义函数：

def category: (Long => Long) = { a =>
  if (a < 7) a else
    if (a < 14) 8 else
      if (a < 28) 9 else
        10
}

val myudf = udf(category)

或者，您可以在一个代码块中创建UDF：

val myudf = udf(
  (a: Long) =>
    if (a < 7) a else
      if (a >= 7 && a < 14) 8 else
        if (a >= 14 && a < 28) 9 else
          10
)

Answer 2

去掉你的退货单。< code>return在大多数scala代码中是不必要的，因为最后一个表达式是自动返回的(这也适用于if语句，整个if是一个返回值的语句)。不建议在不必要时使用< code>return,因为它可能会导致一些意外行为，就像您在这里遇到的情况一样。

让我们简化代码

def category: (Int => Int) ={ a=>
  return a
}

这将无法编译。< code>category是一个不带参数的方法，它返回一个函数< code>Int =

def category: (Int => Int) = { a=>
  a
}

现在代码工作了，因为我们的方法中的最后一个（也是唯一一个）表达式是函数a =

让我们用你的函数试试

def category: (Int => Int) ={ a=>
    if(a<7){
        a
    }
    else{
        if(a>=7 && a<14){
            8
        }
        else{
            if(a>=14 && a<28){
                9
            }
            else{
                10
               }
            }
        }
}

现在它的工作原理是，我们不是尝试从函数内返回Int，而是返回整个函数，这是我们想要的。