使用类中的嵌套方法避免“任务不可序列化”

Question

我理解访问超出闭包范围的字段或方法时出现的通常的“任务不可序列化”问题。

为了修复它，我通常定义这些字段/方法的本地副本，这避免了序列化整个类的需要：

class MyClass(val myField: Any) { 
  def run() = { 
    val f = sc.textFile("hdfs://xxx.xxx.xxx.xxx/file.csv") 

    val myField = this.myField 
    println(f.map( _ + myField ).count) 
  } 
} 

现在，如果我在run方法中定义一个嵌套函数，它将无法序列化：

class MyClass() { 
  def run() = { 
    val f = sc.textFile("hdfs://xxx.xxx.xxx.xxx/file.csv") 

    def mapFn(line: String) = line.split(";") 

    val myField = this.myField 
    println(f.map( mapFn( _ ) ).count) 

  } 
} 

我不明白，因为我以为“mapFn”会在范围内。。。更奇怪的是，如果我将mapFn定义为val而不是def，那么它是有效的：

js prettyprint-override">class MyClass() { 
  def run() = { 
    val f = sc.textFile("hdfs://xxx.xxx.xxx.xxx/file.csv") 

    val mapFn = (line: String) => line.split(";") 

    println(f.map( mapFn( _ ) ).count)     
  } 
} 

这与Scala表示嵌套函数的方式有关吗？

处理这个问题的推荐方法是什么？避免嵌套函数？

Answer 1

在第一种情况下，f.map（mapFN（））与f.map（new Function（）{override def apply（…）=mapFN（…）}） f.map（mapFN）？当您使用def声明一个方法时，它可能只是某个匿名类中的一个方法，该类对封闭类具有隐式$outer引用。但是map需要一个函数，因此编译器需要对其进行包装。在包装器中，您只引用该匿名类的某些方法，而不是实例本身。如果使用val，则直接引用传递给映射的函数。我不确定，只是想大声说出来。。。