CaseWhen in spark数据帧

Question

我想了解如何在新的< code>DataFrame api中使用< code>CaseWhen表达式。

我在文档中看不到任何对它的引用，我唯一看到它的地方是在代码中:https://github . com/Apache/spark/blob/v 1 . 4 . 0/SQL/catalyst/src/main/Scala/org/Apache/spark/SQL/catalyst/expressions/predicates . Scala # L397

我希望能够写这样的东西：

val col = CaseWhen(Seq(
    $"a" === lit(1), lit(10),
    $"a" === lit(2), lit(15),
    ...
    lit(20)
))

但是这段代码无法编译，因为< code>Seq属于< code>Column类型，而不是< code>Expression

使用CaseWhat的正确方法是什么？

Answer 1

老实说，我不知道< code>CaseWhen是否打算用作面向用户的API。相反，应该使用< code>Column类型的< code>when和< code>otherwise方法。使用这些方法，您可以构造一个< code>CaseWhen列。

val column: Column = //some column

val result: Column = column.
  when($"a" === functions.lit(1), 10).
  when($"a" === functions.lit(2), 15).
  otherwise(20)