将PySpark Dataframe中的一行拆分为多行
我目前有一个数据表，其中一列类型为“a b c d e...”。将此列称为“COL4”
我想通过拆分col4的元素来将单行拆分为多行，同时保留所有其他列的值。
COL1[0]COL2[0]COL3[0]a b c
我希望输出为：
COL1[0]COL2[0]COL3[0]a
d = COMBINED_DF.select(col1, col2, col3, explode(split(my_fun(col4), " ")))
COL1[0]COL2[0]COL3[0]a b c
这不是我想要的。
共有1个答案
这里有一个可复制的例子：
# Create dummy data
df = sc.parallelize([(1, 2, 3, 'a b c'),
(4, 5, 6, 'd e f'),
(7, 8, 9, 'g h i')]).toDF(['col1', 'col2', 'col3','col4'])
# Explode column
from pyspark.sql.functions import split, explode
df.withColumn('col4',explode(split('col4',' '))).show()
+----+----+----+----+
|col1|col2|col3|col4|
+----+----+----+----+
| 1| 2| 3| a|
| 1| 2| 3| b|
| 1| 2| 3| c|
| 4| 5| 6| d|
| 4| 5| 6| e|
| 4| 5| 6| f|
| 7| 8| 9| g|
| 7| 8| 9| h|
| 7| 8| 9| i|
+----+----+----+----+
-
问题内容： 我有一个具有这种结构的表。 我无法弄清楚我将使用哪种SQL查询来获得这样的结果集： 我正在尝试将三列分为三个单独的行。这可能吗？ 问题答案： SELECT Y.UserID, Y.UserName, QuestionName = ‘AnswerToQuestion’ + X.Which, Response = CASE X.Which WHEN ‘1’ THEN AnswerToQue
-
问题内容： 我有桌子： 我想要这样的输出： 问题答案： 如果可以创建一个数字表，其中包含从1到要拆分的最大字段的数字，则可以使用以下解决方案： 请看这里的小提琴。 如果无法创建表，则解决方案可以是： 这里有个小提琴例子。
-
我有表： 我想要这样的输出：
-
我在 spark 中有一个数据帧： 此处，所有列均为字符串数据类型。 如何在多列中使用分解功能，并创建如下所示的新数据框: 在新的数据帧中，所有列都是字符串数据类型。
-
问题内容： 我已使用从IMDB收集信息并将其传输到MYSQL数据库的应用程序导入了一些数据。 似乎这些字段尚未标准化，并且在1个字段中包含许多值 例如： 有没有办法将这些值分开，然后将它们插入到另一个表中，而不重复呢？ 我进行了一些谷歌搜索，发现我应该使用PHP处理此数据。但是我一点都不了解PHP。 无论如何，仅使用MYSQL即可转换此数据？ 问题答案： 您可以使用存储过程，该过程使用游标来解
-
问题内容： 我的问题是我有一个这样的表： c1 | c2 | c3 | c4是一个由|分隔的值。 我的最终结果应如下所示： 我该怎么做呢？ 谢谢 问题答案： 这就是您可以执行的操作，使用管道将字符串拆分并使用spark函数爆炸数据 输出： 希望这可以帮助！