火花 Scala UDF 中的异常处理

Question

def parse_values(value: String) = {

      val values = value.split(",").map(_.trim)
      values.foldLeft(Array[(Int, Double)]()) {
        case (acc, present) =>
          val Array(k, v) = present.split(",")(0).split(":")
          acc :+ (k.trim.toInt, v.trim.toDouble)

      }

我目前正在使用上面的UDF将一列字符串解析成一个键和值的数组。“50:63.25，100:58.38”到[[50，63.2]，[100，58.38]]。在某些情况下，字符串是“\N”，我无法解析列值。如果字符串是“\N”，那么我应该返回一个空数组。有人能帮我处理这个异常或帮我添加一个新的案例吗？我是spark-scala的新手。

错误：scala.MatchError：[Ljava.lang.String；@497cb6a9（类[Ljava.lang.String；）

Answer 1

您需要检查结果数组是否有两个元素。您需要这样的模式匹配来避免该解析错误：

def parse_values(value: String) = {
    val values = value.split(",").map(_.trim)
    values.foldLeft(Array[(Int, Double)]()) {
      case (acc, present) =>
        val Array(k, v) = {
          present.split(",")(0).split(":") match {
            case Array(_) => Array("0", "0.0")
            case arr => arr
          }
        }
        acc :+ (k.trim.toInt, v.trim.toDouble)
    }
}