Spark dataframe将行中特定列的值替换为Null

Question

我在尝试用空值替换Spark数据帧特定列的值时遇到了一个问题。我有一个超过50列的数据框架，其中两列是关键列。我想用相同的模式创建一个新的数据框，新的数据框应该具有来自键列的值，而非键列中的值应该为null。我尝试了以下方法，但遇到了问题：

//old_df is the existing Dataframe 
val key_cols = List("id", "key_number")
val non_key_cols = old_df.columns.toList.filterNot(key_cols.contains(_))

val key_col_df = old_df.select(key_cols.head, key_cols.tail:_*)
val non_key_cols_df = old_df.select(non_key_cols.head, non_key_cols.tail:_*)
val list_cols = List.fill(non_key_cols_df.columns.size)("NULL")
val rdd_list_cols = spark.sparkContext.parallelize(Seq(list_cols)).map(l => Row(l:_*))
val list_df = spark.createDataFrame(rdd_list_cols, non_key_cols_df.schema)

val new_df = key_col_df.crossJoin(list_df)

当我在old_df中只有字符串类型列时，这种方法很好。但是我有一些双类型和int类型的列，这是抛出错误的，因为rdd是一个空字符串列表。

为了避免这种情况，我尝试将list_df作为空数据帧，将模式作为non_key_cols_df，但CrossJoin的结果是一个空数据帧，我相信这是因为一个数据帧是空的。

我的要求是将非键列作为一个具有空值的单行数据帧，以便我可以与键列df进行交叉连接，并形成所需的新df。

此外，任何其他更简单的方法将数据帧的所有列（关键列除外）更新为空将解决我的问题。提前谢谢

Answer 1

Shaido答案有一个小缺点——列类型会丢失。可以用模式使用来修复，如下所示：

val nonKeyCols = df.schema.fields.filterNot(f => keyCols.contains(f.name))
val df2 = nonKeyCols.foldLeft(df)((df, c) => df.withColumn(c.name, lit(null).cast(c.dataType)))

Answer 2

CrossJoin是一个昂贵的操作，因此您希望尽可能避免它。一个更简单的解决方案是遍历所有非键列并使用light（null）插入null。使用fold↓可以按如下方式完成：

val keyCols = List("id", "key_number")
val nonKeyCols = df.columns.filterNot(keyCols.contains(_))

val df2 = nonKeyCols.foldLeft(df)((df, c) => df.withColumn(c, lit(null)))

输入示例：

+---+----------+---+----+
| id|key_number|  c|   d|
+---+----------+---+----+
|  1|         2|  3| 4.0|
|  5|         6|  7| 8.0|
|  9|        10| 11|12.0|
+---+----------+---+----+

将给予：

+---+----------+----+----+
| id|key_number|   c|   d|
+---+----------+----+----+
|  1|         2|null|null|
|  5|         6|null|null|
|  9|        10|null|null|
+---+----------+----+----+