与Spark系列化混淆

Question

我需要读取几个csv文件，并将几个列从字符串转换为双精度。

代码如下：

  def f(s:String):Double = s.toDouble

  def readonefile(path:String) = {
    val data = for {
      line <-  sc.textFile( path )
      arr = line.split(",").map(_.trim)
      id = arr(33)
    } yield {
        val countings = ((9 to 14) map arr).toVector map f
        id -> countings.toVector
      }
    data
  }

如果我显式地编写toDouble（例如，代码中的函数f），spark会抛出错误java。伊奥。IOException或java。lang.exceptionininitializerror。

但是如果我将计数更改为

val countings=（（9到14）map arr）。toVector map（u.toDouble）

然后一切正常。

函数f可序列化吗？

编辑：

有人说这和任务不可序列化是一样的：java。伊奥。NotSerializableException当只对类而不是对象调用闭包外的函数时，为什么不抛出Task not serializableexception？

Scala 2.10版

Spark版本1.3.1

环境：纱线客户

Answer 1

我们可以把函数f移到一个伴星上。我还使转换避免了for循环，我不确定它是否在做你想要的事情。请注意，您可能希望使用spark csv，而不只是在逗号上拆分，但希望这能说明这一点：

  object Panda {
    def f(s:String):Double = s.toDouble
  }

  def readonefile(path:String) = {
      val input = sc.textFile( path )
      arrs = input.map(line => line.split(",").map(_.trim))
      arrrs.map(arr => (arr(33).toDouble,
                        ((9 to 14) map arr).map(Panda.f).toVector)
  }