将列表的spark DF列拆分为单个列

Question

感兴趣的是在同一pyspark数据帧中将列表的这一列拆分为多列的scala-spark实现

给定该数据帧:

|              X     |            Y|
+--------------------+-------------+
|                rent|[1,2,3......]|
|     is_rent_changed|[4,5,6......]|
|               phone|[7,8,9......]|

我想要一个新的数据帧，它包含分解值并映射到我提供的列名称：

colNames = ['cat','dog','mouse'....]

|              Column|cat |dog |mouse |.......|
+--------------------+---|---|--------|-------|
|                rent|1  |2  |3       |.......|
|     is_rent_changed|4  |5  |6       |.......|
|               phone|7  |8  |9       |.......|

尝试：

val out = df.select(col("X"),explode($"Y"))

但它的格式错误，我不知道如何映射到我的 colNames 列表：

X              | Y |
---------------|---|
rent           |1  |
rent           |2  |
rent           |3  |
.              |.  |
.              |.  |
is_rent_changed|4  |
is_rent_changed|5  |

在上面的链接中，python的解决方案是使用列表理解：

univar_df10.select([univar_df10.Column] + [univar_df10.Quantile[i] for i in range(length)])

但它没有显示如何使用提供的列名列表，因为列名只是列的索引。

Answer 1

实际上没那么复杂。dataframe的< code>select所期望的只是< code>Column对象的列表，我们可以通过编程方式创建该列表:

val columns = List("cat", "mouse", "dog")
   .zipWithIndex
   .map{ case (header, idx) => $"y"(idx).alias(header) }

那么我们只需要在select中使用它：

val df = List(("rent", Array(1,2,3)), ("is_rent_changed", Array(3,4,5))).toDF("x", "y")
df.select($"x" :: columns : _*).show()

输出：

+---------------+---+-----+---+
|              x|cat|mouse|dog|
+---------------+---+-----+---+
|           rent|  1|    2|  3|
|is_rent_changed|  3|    4|  5|
+---------------+---+-----+---+

当然，您也可以内联它。

Answer 2

我提出了一个基于某些假设的解决方案。

var df1 = df

其中< code>df是您的输入df。例如:-

+---+---------+
| id|    value|
+---+---------+
|  1|[A, B, C]|
|  2|[D, E, F]|
+---+---------+

val columns = Array("cat","dog","sheep")

列是列名的数组。

for(i<-1 to columns.length)
df1 = df1.withColumn(columns(i-1),'value.getItem(i-1))


+---+---------+---+---+-----+
| id|    value|cat|dog|sheep|
+---+---------+---+---+-----+
|  1|[A, B, C]|  A|  B|    C|
|  2|[D, E, F]|  D|  E|    F|
+---+---------+---+---+-----+

如果需要，现在可以删除值列。希望这对你有用！