在火花sql中注册UDAF

Question

我想注册一个UDAF类（用Scala或Python编写）并在SparkSQL中使用它。
例如：
模拟代码

// mock code:
class MyUDAF extends UserDefinedAggregateFunction{
...
}

spark.udaf.registerJavaFunction("myagg", "MyUDAF",IntegerType)

然后我可以直接在spark sql中使用udaf，如下所示：

spark.sql("select myagg(field) from mytable group by something")

Spark仅提供了Spark.udf。registerJavaFunction方法注册UDF类。

有人知道如何注册UDAF吗？

Answer 1

您可以为udaf做同样的事情：

spark.udf.register("udaf_name", new UdafClass())

然后，您可以在星火 SQL 中使用它。

Answer 2

您可以使用HiveSQL注册它。

spark.sql("CREATE FUNCTION myagg AS 'com.mysite.MyUDAF'")
spark.sql("select myagg(field) from mytable group by something")