java.lang.NumberFormatException：对于输入字符串："nan"on select count（*）on a table

Question

scala prettyprint-override">case class Varnish(ID: String, varnish_latency: Float)


val seq = sc.sequenceFile[LongWritable, BytesWritable](logfile_path)
val usableRDD = seq.map({case (_, v : BytesWritable) => Text.decode(v.getBytes)})
                   .map(_.split(" "))
                   .map(p => Varnish(p(11), p(8).toFloat))
                   .toDF()
usableRDD.registerTempTable("Varnish")
sqlContext.sql("SELECT * from Varnish LIMIT 5").collect().foreach(println) // works fine
val countResult = sqlContext.sql("SELECT COUNT(*) FROM Varnish").collect() // throws Err
val cnt2 = countResult.head.getLong(0)

2003年1月16日02:56:18阿卡斯巴克河。男演员default-dispatcher-20 INFO RemoteActorRefProvider$RemotingTerminator：关闭远程守护程序
16/01/23 02:56:18线程-3信息应用程序管理员：注销应用程序管理员失败（诊断消息：用户类引发异常：org.apache.spark.SparkException：作业因阶段失败而中止：阶段1.0中的任务57失败了4次，最近一次失败：
在阶段1.0中丢失了任务57.3（TID 89，10.1.201.14）：java。lang.NumberFormatException：对于输入字符串：“nan”
在sun。杂项。浮动十进制。readJavaFormatString（FloatingDecimal.java:1250）

Answer 1

异常似乎是相当不言自明的。您传递的一些值包含nan字符串，该字符串未被解释为有效的Float表示：

scala> "nan".toFloat
java.lang.NumberFormatException: For input string: "nan"
...

只要数据不是来自已经验证过的源（如RDBMS或拼花文件），就不要盲目相信它的格式是正确的。您可以使用以下选项修改代码以正确处理此情况和其他格式错误的条目：

import scala.util.Try

case class Varnish(ID: String, varnish_latency: Option[Float])

...
  .map(p => Varnish(p(11), Try(p(8).toFloat).toOption))

删除case类并使用SQL处理：

...
  .map(p => Varnish(p(11), p(8)))
  .toDF("ID", "varnish_latency")
  .withColumn("varnish_latency", $"varnish_latency".cast("double"))

或在调用. toFloat并删除格式错误的条目之前进行预验证。

前两个选项将Nones转换为nulls。由于它在语义上不精确（原始not-a-number与缺失值），并且会导致信息丢失，因此您可能更喜欢显式处理“nan”情况。例如，可以在调用toFloat或模式匹配之前，将“nan”替换为“nan”（正确的表示法）：

p(8) match {
  case "nan" => Float.NaN
  case s => s.toFloat
}