Scala Spark将空字符串替换为NULL

Question

这里我想要的是将特定列中的值替换为null，如果它是空字符串。

原因是我使用的是org。阿帕奇。火花sql。功能。coalesce以基于另一列填充数据帧的一列，但我注意到在某些行中，值是空字符串而不是null，因此coalesce函数无法按预期工作。

val myCoalesceColumnorder: Seq[String] = Seq("xx", "yy", "zz"),

val resolvedDf = df.select(
   df("a"),
   df("b"),
   lower(org.apache.spark.sql.functions.coalesce(myCoalesceColumnorder.map(x => adjust(x)): _*)).as("resolved_id")
)

在上面的例子中，我希望首先用列xx填充resolved_id，如果它不为空，如果它为空，则用列yy等等。但是由于某个时候，xx列被“而不是null填充，我在'resolved_id'中得到了”。

我试过用

resolvedDf.na.replace("resolved_id", Map("" -> null))

但基于na.replace留档，只有当键和值都是Bolean或String或双时才有效，所以我不能在这里使用null。

我不想因为性能问题而使用UDF，我只想知道有没有其他技巧可以解决这个问题？

另一种解决方法是在时使用，但不确定性能

resolvedDf
      .withColumn("resolved_id", when(col("resolved_id").equalTo(""), null).otherwise(col("resolved_id")))




Answer 1

匿名用户

这是一种性能更好的正确方法。withColumn（“resolved_id”，当（$“resolved_id”=！=，$“resolved_id”））

基本上不需要使用否则方法。

您可以查看以下来源：https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/Column.scala#L507

/**
   * Evaluates a list of conditions and returns one of multiple possible result expressions.
   * If otherwise is not defined at the end, null is returned for unmatched conditions.
   *
   * {{{
   *   // Example: encoding gender string column into integer.
   *
   *   // Scala:
   *   people.select(when(people("gender") === "male", 0)
   *     .when(people("gender") === "female", 1)
   *     .otherwise(2))
   *
   *   // Java:
   *   people.select(when(col("gender").equalTo("male"), 0)
   *     .when(col("gender").equalTo("female"), 1)
   *     .otherwise(2))
   * }}}
   *
   * @group expr_ops
   * @since 1.4.0
   */
  def when(condition: Column, value: Any): Column = this.expr match {
    case CaseWhen(branches, None) =>
      withExpr { CaseWhen(branches :+ ((condition.expr, lit(value).expr))) }
    case CaseWhen(branches, Some(_)) =>
      throw new IllegalArgumentException(
        "when() cannot be applied once otherwise() is applied")
    case _ =>
      throw new IllegalArgumentException(
        "when() can only be applied on a Column previously generated by when() function")
  }