“找不到存储在数据集中的类型的编码器”是否导入spark.implicits._？

Question

Error:(39, 12) Unable to find encoder for type stored in a Dataset.  Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._  Support for serializing other types will be added in future releases.
    dbo.map((r) => ods.map((s) => {

Error:(39, 12) not enough arguments for method map: (implicit evidence$6: org.apache.spark.sql.Encoder[org.apache.spark.sql.Dataset[Int]])org.apache.spark.sql.Dataset[org.apache.spark.sql.Dataset[Int]].
Unspecified value parameter evidence$6.
    dbo.map((r) => ods.map((s) => {

object Main extends App {
  ....

  def compare(sqlContext: org.apache.spark.sql.SQLContext, 
            dbo: Dataset[Cols], ods: Dataset[Cols]) = {
    import sqlContext.implicits._ // Tried import dbo.sparkSession.implicits._ too
    dbo.map((r) => ods.map((s) => { // Errors occur here
      0
    }))
}

case class Cols (A: Int,
                   B: String,
                   C: String,
                   D: String,
                   E: Double,
                   F: Date,
                   G: String,
                   H: String,
                   I: Double,
                   J: String
                  )

>

导入sqlcontext.implicits._后，为什么它仍然有错误？

我创建参数sqlcontext仅用于导入。有没有更好的方法在不传递参数的情况下完成它？

应通过导入dbo.sparksession.implicits._解决此问题

Answer 1

您的代码试图创建一个数据集[dataset[Int]]，这是错误的，原因有几个

不能在一个数据集中使用数据集，如果要交叉来自两个数据集的数据，则需要以某种方式将它们连接起来

没有办法创建编码器[dataset[Int]]，您可以创建编码器[Int]，但其他东西没有意义

这样做更有意义

import org.apache.spark.sql.functions => func

dbo.joinWith(ods, func.expr("true")).map {
  case (r, s) =>
    0
}