使用Spark ML时VectorUDT出现问题

Question

我正在编写一个UDAF，应用于Vector（spark.ml.linalg.Vector）类型的Spark数据帧列。我依赖spark.ml.linalg包，这样我就不必在数据帧和RDD之间来回穿梭。

在UDAF内部，我必须为输入、缓冲和输出模式指定数据类型:

def inputSchema = new StructType().add("features", new VectorUDT())
def bufferSchema: StructType =
    StructType(StructField("list_of_similarities", ArrayType(new VectorUDT(), true), true) :: Nil)

override def dataType: DataType = ArrayType(DoubleType,true) 

VectorUDT是我在spark.mllib.linalg.Vector中使用的:https://github . com/Apache/spark/blob/master/ml lib/src/main/Scala/org/Apache/spark/ml lib/Lina LG/vectors . Scala

然而，当我尝试从spark导入它时。改为：＜code＞导入org.apache.spark.ml.linalg。VectorUDT＜/code＞我得到一个运行时错误（在构建期间没有错误）：

class VectorUDT in package linalg cannot be accessed in package org.apache.spark.ml.linalg 

这是预期的/你能建议一个解决方法吗？

我正在使用Spark 2.0.0

Answer 1

在Spark 2.0.0中，正确的方法是使用＜code＞org.apache.Spark.ml.linalg.SQLDataTypes。VectorType而不是VectorUDT。它是在本期中介绍的。