不支持Spark 2.1.0 UDF Schema类型

Question

我正在使用一种称为点（x：双精度，y：双精度）的数据类型。我正在尝试使用_c1列和_c2作为Point（）的输入，然后创建一个新的Point值列，如下所示

val toPoint = udf{(x: Double, y: Double) => Point(x,y)}

然后我调用函数：

val point = data.withColumn("Point", toPoint(watned("c1"),wanted("c2")))

但是，当我声明udf时，我得到了以下错误：

java.lang.UnsupportedOperationException: Schema for type com.vividsolutions.jts.geom.Point is not supported
      at org.apache.spark.sql.catalyst.ScalaReflection$.schemaFor(ScalaReflection.scala:733)
      at org.apache.spark.sql.catalyst.ScalaReflection$$anonfun$schemaFor$2.apply(ScalaReflection.scala:729)
      at org.apache.spark.sql.catalyst.ScalaReflection$$anonfun$schemaFor$2.apply(ScalaReflection.scala:728)
      at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
      at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
      at scala.collection.immutable.List.foreach(List.scala:381)
      at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
      at scala.collection.immutable.List.map(List.scala:285)
      at org.apache.spark.sql.catalyst.ScalaReflection$.schemaFor(ScalaReflection.scala:728)
      at org.apache.spark.sql.catalyst.ScalaReflection$.schemaFor(ScalaReflection.scala:671)
      at org.apache.spark.sql.functions$.udf(functions.scala:3084)
      ... 48 elided

我已经正确导入了此数据类型，并且之前多次使用它。现在我尝试将其包含在我的udf的架构中，它无法识别它。包含标准Int，字符串，数组等以外的类型的方法是什么？

我在亚马逊EMR上使用火花2.1.0。

以下是我提到的一些相关问题：

如何定义自定义类型在火花SQL？

Spark UDF错误-不支持任何类型的架构

Answer 1

应将 Point 定义为案例类

case class Point(x: Double, y: Double)

或者，如果你愿意

case class MyPoint(x:Double,y:Double) extends com.vividsolutions.jts.geom.Point(x,y)

这样，Spark会自动推断出模式