Spark hive udf：没有UDAF分析异常的处理程序

Question

创建了一个项目' spark-udf '

package com.spark.udf
import org.apache.hadoop.hive.ql.exec.UDF

class UpperCase extends UDF with Serializable {
  def evaluate(input: String): String = {
    input.toUpperCase
  }

建造它

spark.sql("CREATE OR REPLACE FUNCTION uppercase AS 'com.spark.udf.UpperCase' USING JAR '/home/swapnil/spark-udf/target/spark-udf-1.0.jar'")

但是下面一行给了我例外:

spark.sql("select uppercase(Car) as NAME from cars").show

例外：

html" target="_blank">线程“main”org.apache.spark.sql中出现异常。AnalysisException:UDAF“com.sark.udf.UpperCase”没有处理程序。请改用sparkSession.udf.register（…）。；第1行位置7，位于org.apache.spark.sql.catalyst.catalog.SessionCatalog.makeFunctionExpression（SessionCatalog.scala:1105），位于org.apache.sark.sql.catelyst.catealog.SessionCatalog$$anonfun$org$apache$spark$sql$catalyst$catalog$1$sessionCatal$$$makeFunctionBuilder$1.apply（Session catalog.scala:1085）org.apache.sark.sql.catalyst.catalog.SessionCatalog$$anonfun$org$apache$spark$sql$catalyst$catalog$SessionCatalog$$makeFunctionBuilder$1.apply（SessionCatalog.sql.catalyst.analysis.SimpleFunctionRegistry.lookupFunction（FunctionRegistry.scala:115），位于org.apache.sark.sql.catalyst.analysis.Analyzer$ResolveFunctions$$anonfun$applyOrElse$6$$annofun$applyOrElse$52.apply（Analyzer.scala:1226），位于org.apacher.sark.ql.catalyst.analysis

对此任何帮助都非常感谢。

Answer 1

问题是类需要公开。

package com.spark.udf
import org.apache.hadoop.hive.ql.exec.UDF

public class UpperCase extends UDF with Serializable {
  def evaluate(input: String): String = {
    input.toUpperCase
  }
}

Answer 2

评论里提到，不如写火花UDF:

val uppercaseUDF = spark.udf.register("uppercase", (s : String) => s.toUpperCase)
spark.sql("select uppercase(Car) as NAME from cars").show

主要原因是您在创建SparkSession期间未设置< code>enableHiveSupport。在这种情况下，将使用默认的SessionCatalog，并且< code>SessionCatalog中的< code > makeFunctionExpression 函数仅扫描用户定义的聚合函数。如果函数不是UDAF，就找不到它。

创建吉拉任务来实现这一点