SQL DSL的spark寄存器表达式

Question

我如何访问一个催化剂表达式（不是常规UDF）在火花SQLscala DSL API？

http://geospark.datasyslab.org仅允许基于文本的执行

GeoSparkSQLRegistrator.registerAll(sparkSession)
var stringDf = sparkSession.sql(
  """
    |SELECT ST_SaveAsWKT(countyshape)
    |FROM polygondf
  """.stripMargin)

当我尝试使用SQL scala DSL时。withColumn（“foo”，ST\u Point（col（“x”），col（“y”）））我得到一个类型不匹配的错误，column get ST\u Point是预期的。

我需要更改什么才能正确注册催化剂表达式作为可直接通过scalaSQLDSL API调用的东西？

催化剂表达式都通过https://github.com/DataSystemsLab/GeoSpark/blob/fadccf2579e4bbe905b2c28d5d1162fdd72aa99c/sql/src/main/scala/org/datasyslab/geosparksql/UDF/UdfRegistrator.scala#L38注册：

Catalog.expressions.foreach(f=>sparkSession.sessionState.functionRegistry.createOrReplaceTempFunction(f.getClass.getSimpleName.dropRight(1),f))

import org.apache.spark.sql.geosparksql.expressions.ST_Point
val  myPoint = udf((x: Double, y:Double) => ST_Point _)

失败原因：

_ must follow method; cannot follow org.apache.spark.sql.geosparksql.expressions.ST_Point.type

Answer 1

这里是另一个可以用来调用UDF的方法，以及我到目前为止所做的工作。

      .withColumn("locationPoint", callUDF("ST_Point", col("longitude"),
        col("latitude")))

Answer 2

您可以访问组织中未公开的表达式。阿帕奇。火花sql。使用expr方法的函数包。它实际上并没有在Scala中提供类似UDF的对象，但它确实允许您使用Dataset API编写查询的其余部分。

以下是文档中的一个示例：

// get the number of words of each length
df.groupBy(expr("length(word)")).count()