在spark中交换dataframe的多个值列

Question

我需要根据其中一个列的条件交换多个列的值，并使用API而不是sparkQL

我有一个包含列 [A，B，C，X，Y，Z] 的数据帧，并且它具有具有以下模式的行：

(1，2，3，空，空，空)，< br> (3，3，3，空，空，空)，< br >(空，空，空，5，3，2)，< br> (3，1，1，空，空)，< br >(空，空，空，3，4，1)

当任何行具有列A中的值为空的条件时，我想实现列组（a， b， c）和（x， y， z）之间的值交换。所以执行后，表应该只有列[A， B， C]中的值。我尝试做了类似的事情

val result = df.withColumn("A", when(col("A").isNull, col("X")).withColumn("X", when(col("A").isNull,lit(null)).withColumn("B", when(col("A").isNull, col("Y")).withColumn("Y", when(col("A").isNull,lit(null)).withColumn("C", when(col("A").isNull, col("Z")).withColumn("Z", when(col("A").isNull,lit(null)).

令人惊讶的是只执行这个：

val result = df.withColumn("A "，when(col("A ")。isNull，col("X "))。withColumn("X "，when(col("A ")。isNull，lit(null))

我得到了我用该行定义的列交换的预期结果”(5，null，null，null，3，2)。但是当我为另外两列添加“withColumn”操作时，我得到了这样的行(5，null，null，null，3，2)

任何帮助都将不胜感激。

Answer 1

交换“A”和“X”后，“A”不再为空。因此，后续操作不起作用。

我强烈建议您使用标志列来帮助实现这一点。

val result = df
.withColumn("flag", when(col("A").isNull, true).otherwise(false)
.withColumn("A", when(col("flag") === true, col("X"))
.withColumn("X", when(col("flag") === true, lit(null))
.withColumn("B", when(col("flag") === true, col("Y"))
.withColumn("Y", when(col("flag") === true, lit(null))
.withColumn("C", when(col("flag") === true, col("Z"))
.withColumn("Z", when(col("flag") === true, lit(null)).