UDF 中的异常处理：火花 1.6

Question

   def parse_values(value: String) = {
      val values = value.split(",").map(_.trim)
      values.foldLeft(Array[(Int, Double)]()) {
        case (acc, present) =>
          val Array(k, v) = {
            present.split(",")(0).split(":") match {
              case Array(_) => Array("0", "0.0")
              case arr => arr
            }
          }
          acc :+ (k.trim.toInt, v.trim.toDouble)
      }
    }

这个函数的作用是将字符串列解析为键和值的数组。"50:63.25,100:58.38"to[[50,63.2]，[100,58.38]]。这是我的UDF，它创建了一个包装的int和Double结构元素数组。

 |    |-- element: struct (containsNull = true)
 |    |    |-- _1: integer (nullable = false)
 |    |    |-- _2: double (nullable = false)

有些情况下，输入字符串的格式不正确，我会得到一个错误:输入字符串的< code > Java . lang . numberformatexception :因为“< code>k.trim.toInt”无法转换像“< code>.01-4.1293”这样的脏数据，这是一个大型数据集中的异常字符串之一。有人能帮我解决这个问题吗？

当发生异常时，我想返回一个空数组或一个带有[0,0.0]的数组。有什么建议吗？

Answer 1

您可以使用尝试类

而不是

(k.trim.toInt, v.trim.toDouble)

用 get 或Else 将其封装在尝试中，例如：

(Try(k.trim.toInt).getOrElse(0), Try(v.trim.toDouble).getOrElse(0.0))

如果成功，它将返回正确的值，如果失败，它将返回您希望的默认值

在这里快速测试：

val invalid: String = .01-4.1293
val valid: String = 56


Try(invalid.trim.toInt).getOrElse(0)
res19: Int = 0

Try(valid.trim.toInt).getOrElse(0)
res20: Int = 56

作为一个整体与您的功能：

import scala.util.Try

   def parse_values(value: String) = {
      val values = value.split(",").map(_.trim)
      values.foldLeft(Array[(Int, Double)]()) {
        case (acc, present) =>
          val Array(k, v) = {
            present.split(",")(0).split(":") match {
              case Array(_) => Array("0", "0.0")
              case arr => arr
            }
          }
          acc :+ (Try(k.trim.toInt).getOrElse(0), Try(v.trim.toDouble).getOrElse(0.0))
      }
    }

还可以在此处找到有关函数错误处理和 Try 类的详细信息