Spark 1.6中的数据集

Question

我正在评估将现有的RDD代码替换为Dataset。对于我的一个用例，我无法将数据集映射到另一个用例类。

以下是我想做的。。。

case class MyMap(map: Map[String, String])

case class V1(a: String, b: String){
  def toMyMap: MyMap = {
    MyMap(Map(a->b))
  }

  def toStr: String = {
    a
  }
}

object MyApp extends App {
//Get handle to sqlContext and other useful stuff here.
val df1 = sqlContext.createDataset(Seq(V1("2015-05-01", "data1"), V1("2015-05-01", "data2"))).toDF()
df1.as[V1].map(_.toMyMap).show() //Errors out. Added the exception below.
df1.as[V1].map(_.toStr).show() //Works fine.
}

任何帮助都将不胜感激。

但以下例外情况：

Answer 1

问题是scala Map类不可序列化，因此Dataset API无法自动生成适当的编码器。我建议将地图转换为字符串，然后解析字符串并转换回地图（假设您在地图中存储字符串）。

数据集应用编程接口可能也不是最好的选择。我写了这篇文章，可能会感兴趣。

Answer 2

我想你可能真的碰到了SPARK-12696，它在SPARK/master中是固定的。我希望在不久的将来发布1.6.1，其中应该包括这个补丁。