Scala:json4s“implicit val formats=DefaultFormats”导致任务无法在RDD映射中序列化

Question

下面的程序尝试为每个ROW（在RDD映射中）调用3个函数：

    import org.json4s._
    import org.json4s.jackson.JsonMethods._
    implicit val formats = DefaultFormats

    class TagCalculation extends Serializable {
    def test1(x: String) = x + " test1"
    def test2(x: String) = x + "test2" 
    def test3(x: String) = x + "test3" 
    def test5(arg1: java.lang.Integer, arg2: String, arg3: scala.collection.immutable.$colon$colon[Any]) = "test mix2"
  }
  val df = sqlContext.createDataFrame(Seq((1,"Android"), (2, "iPhone")))
  val get_test = new TagCalculation
  val field = Array("test1","test2","test3")

  val bb = df.rdd.map(row => {

    val reValue1 = "start"
    val ret = for(every <- field)
      yield {
        val test_para = Array(reValue1)
        val argtypes = test_para.map(_.getClass)
        val method4 = get_test.getClass.getMethod(every, argtypes: _*)

        val bbq = method4.invoke(get_test, test_para: _*)

        if (field.last == every)
            bbq
      }
    ret.last
  })

但也有一些错误：

组织。阿帕奇。火花SparkException:任务在组织中不可序列化。阿帕奇。火花util。ClosureCleaner美元。EnsureCleaner.scala:304）可在org。阿帕奇。火花util。ClosureCleaner美元。org$apache$spark$util$ClosureCleaner$$clean（ClosureCleaner.scala:294）位于org。阿帕奇。火花util。ClosureCleaner美元。clean（ClosureCleaner.scala:122）在org上。阿帕奇。火花SparkContext。clean（SparkContext.scala:2032）位于org。阿帕奇。火花rdd。RDD$$anonfun$map$1。在org上申请（RDD.scala:314）。阿帕奇。火花rdd。RDD$$anonfun$map$1。在org上申请（RDD.scala:313）。阿帕奇。火花rdd。RDDOperationScope$。在org.com上使用Scope（RDDOperationScope.scala:147）。阿帕奇。火花rdd。RDDOperationScope$。使用org上的scope（RDDOperationScope.scala:108）。阿帕奇。火花rdd。RDD。组织上的Wisscope（RDD.scala:306）。阿帕奇。火花rdd。RDD。地图（RDD.scala:313）。。。。。。。。在org。阿帕奇。火花部署SparkSubmit美元。在org上提交（SparkSubmit.scala:205）。阿帕奇。火花部署SparkSubmit美元。main（SparkSubmit.scala:120）位于org。阿帕奇。火花部署SparkSubmit。main（SparkSubmit.scala）由以下原因引起：java。伊奥。NotSerializableException:org。json4s。默认格式$

有什么指示吗？

这可能是由“隐式val格式=默认格式”引起的。但我需要在“地图”之前提取值。

Answer 1

这个问题是因为您在初始化和使用对象的调用类内定义了TagCompation类。只要将它移到调用类之外，或者使它成为一个单独的类，NotSerializableExctive的问题就应该得到解决。