Spark和不可序列化的DateTimeFormatter

Question

我正在尝试从Spark中的java.time.format使用DateTimeFormatter，但它似乎不可序列化。这是相关的代码块：

val pattern = "<some pattern>".r
val dtFormatter = DateTimeFormatter.ofPattern("<some non-ISO pattern>")

val logs = sc.wholeTextFiles(path)

val entries = logs.flatMap(fileContent => {
    val file = fileContent._1
    val content = fileContent._2
    content.split("\\r?\\n").map(line => line match {
      case pattern(dt, ev, seq) => Some(LogEntry(LocalDateTime.parse(dt, dtFormatter), ev, seq.toInt))
      case _ => logger.error(s"Cannot parse $file: $line"); None
    })
  })

如何避免出现java.io.NotSerializableException: java.time.format.DateTimeFormatter异常？是否有更好的库来解析时间戳？我读过，Joda也不是可序列化的，并且已并入Java
8的时间库中。

Answer 1

您可以通过两种方式避免序列化：

1. 假设其值可以是恒定的，请将格式化程序放在中object（使其成为“静态”）。这意味着可以在每个工作程序中访问静态值，而不是驱动程序将其序列化并发送给工作程序：

        object MyUtils {
      val dtFormatter = DateTimeFormatter.ofPattern("<some non-ISO pattern>")
    }

    import MyUtils._
    logs.flatMap(fileContent => {
      // can safely use formatter here
    })

1. 在匿名函数中按记录实例化它。这会带来一些性能损失（因为实例化将根据记录反复进行），因此仅在无法应用第一个选项时才使用此选项：

        logs.flatMap(fileContent => {
      val dtFormatter = DateTimeFormatter.ofPattern("<some non-ISO pattern>")
      // use formatter here
    })