如何删除包含csv数据的RDD中包含空值的条目？

Question

我正在尝试将csv文件中的值映射到RDD，但我收到以下错误，因为某些字段为空。

线程"main"中的异常org.apache.spark.SparkException：由于阶段失败而中止的作业：阶段0.0中的任务0失败1次，最近的失败：阶段0.0中丢失的任务0.0（TID 0，localhost，执行驱动程序）：java.lang.NumberFormatException：空字符串

以下是我正在使用的代码。

// Load and parse the data
val data = sc.textFile("data.csv")

val parsedData = data.map(s => Vectors.dense(s.split(',').map(_.toDouble))).cache()

有没有办法检查是否有空值？我曾想过用一种“试抓”的方法来做，但它似乎不起作用。

val parsedData = data.map(s => {

  try {
    val vector = Vectors.dense(s.split(',').map(_.toDouble))
  }catch{
    case e:NumberFormatException => println("Nulls somewhere")
  }
  (vector)
})

Answer 1

您可以过滤掉空项，只需将过滤方法添加到流中：

val parsedData = data.map(s => Vectors.dense(s.split(',').filter(!_.isEmpty).map(_.toDouble))).filter(_.size != 0)

这样任何空行都会导致空的Vector，可以进一步过滤。