Spark Scala：任务不可序列化错误

Question

def removePunctuation(text: String): String = {
  val punctPattern = "[^a-zA-Z0-9\\s]".r
  punctPattern.replaceAllIn(text, "").toLowerCase
}

val myfile = sc.textFile("/home/ubuntu/data.txt",4).map(removePunctuation)

这给出的错误如下，任何帮助将是感激的：

Answer 1

正如@tgaweda所建议的，Spark的serializationdebugger对于识别“从给定对象到问题对象的序列化路径”非常有帮助。堆栈跟踪中“序列化堆栈”之前的所有美元符号都表明您的方法的容器对象是问题所在。

虽然在容器类上添加serializable是最简单的，但我更喜欢利用Scala是函数语言这一事实，并将函数作为第一类公民使用：

sc.textFile("/home/ubuntu/data.txt",4).map { text =>
  val punctPattern = "[^a-zA-Z0-9\\s]".r
  punctPattern.replaceAllIn(text, "").toLowerCase
}

或者如果你真的想把事情分开：

val removePunctuation: String => String = (text: String) => {
  val punctPattern = "[^a-zA-Z0-9\\s]".r
  punctPattern.replaceAllIn(text, "").toLowerCase
}
sc.textFile("/home/ubuntu/data.txt",4).map(removePunctuation)