spark 2.0上的编译编码器错误

Question

我试图从spark 1.6迁移到2.0，但仅在2.0上编译时出现以下错误:

def getSubGroupCount(df: DataFrame, colNames: String): Array[Seq[Any]] = {
   val columns: Array[String] = colNames.split(',')
   val subGroupCount: Array[Seq[Any]] = columns.map(c => df.select(c).distinct.map(x => x.get(0)).collect.toSeq)
    subGroupCount
  }

无法找到存储在数据集中的类型的编码器。导入支持原始类型（Int、String等）和产品类型（case类）spark.implicits._将在未来版本中添加对序列化其他类型的支持。val subGroupCount： Array[Seq[any]]=columns.map（c=

问候

Answer 1

方法< code>DataFrame.map在不同版本之间发生了变化:

> < li>

在Spark 1.6中，它对底层< code>RDD[Row]进行操作，并返回一个< code>RDD:

def map[R](f: (Row) ⇒ R)(implicit arg0: ClassTag[R]): RDD[R]

在Spark 2.0中，< code>DataFrame只是< code>Dataset[Row]的别名，因此它返回一个< code>Dataset:

def map[U](func: (T) ⇒ U)(implicit arg0: Encoder[U]): Dataset[U] 

如您所见，后者需要一个隐式编码器参数，该参数在您的案例中是缺少的。

为什么编码器不见了？

首先，一旦导入< code>spark.implicits._，所有默认编码器都将在范围内。但是，由于映射的结果类型是< code>Any (x =

如何解决这个问题？

> < li>

如果您感兴趣的所有列都有一个通用类型(例如，< code>String)，您可以使用< code>getAs[String](0)使映射函数的返回类型特定。一旦添加了上面提到的导入，这些类型(原语、产品)将在范围内有一个匹配的编码器

如果您没有所有相关列通用的已知类型，并且希望保留相同的行为-您可以使用. rdd获取Dataframe的RDD并使用该RDD的map操作，这将与2.0之前的行为相同：

columns.map(c => df.select(c).distinct.rdd.map(x => x.get(0)).collect.toSeq)