在Pyspark中将数据框的复杂行划分为简单行
我有以下代码：
from pyspark import SparkContext
from pyspark.sql import SQLContext, Row
sc = SparkContext()
sqlContext = SQLContext(sc)
documents = sqlContext.createDataFrame([
Row(id=1, title=[Row(value=u'cars', max_dist=1000)]),
Row(id=2, title=[Row(value=u'horse bus',max_dist=50), Row(value=u'normal bus',max_dist=100)]),
Row(id=3, title=[Row(value=u'Airplane', max_dist=5000)]),
Row(id=4, title=[Row(value=u'Bicycles', max_dist=20),Row(value=u'Motorbikes', max_dist=80)]),
Row(id=5, title=[Row(value=u'Trams', max_dist=15)])])
documents.show(truncate=False)
#+---+----------------------------------+
#|id |title |
#+---+----------------------------------+
#|1 |[[1000,cars]] |
#|2 |[[50,horse bus], [100,normal bus]]|
#|3 |[[5000,Airplane]] |
#|4 |[[20,Bicycles], [80,Motorbikes]] |
#|5 |[[15,Trams]] |
#+---+----------------------------------+
我需要将所有复合行（例如2和4）拆分为多个行，同时保留“ id”，以得到如下结果：
#+---+----------------------------------+
#|id |title |
#+---+----------------------------------+
#|1 |[1000,cars] |
#|2 |[50,horse bus] |
#|2 |[100,normal bus] |
#|3 |[5000,Airplane] |
#|4 |[20,Bicycles] |
#|4 |[80,Motorbikes] |
#|5 |[15,Trams] |
#+---+----------------------------------+
问题答案：
就是explode这样：
from pyspark.sql.functions import explode
documents.withColumn("title", explode("title"))
## +---+----------------+
## | id| title|
## +---+----------------+
## | 1| [1000,cars]|
## | 2| [50,horse bus]|
## | 2|[100,normal bus]|
## | 3| [5000,Airplane]|
## | 4| [20,Bicycles]|
## | 4| [80,Motorbikes]|
## | 5| [15,Trams]|
## +---+----------------+
-
问题内容： 我正在使用monotonically_increasing_id（）使用以下语法将行号分配给pyspark数据帧： 现在df1有26,572,528条记录。因此，我期望idx值为0-26,572,527。 但是当我选择max（idx）时，它的值非常大：335,008,054,165。 这个功能是怎么回事？使用此功能与具有相似记录数量的另一个数据集合并是否可靠？ 我有大约300个数据框，
-
问题内容： 我有从构成的DataFrame 。一行包含96个值，我想将DataFrame与值72分开。 以便将行的前72个值存储在Dataframe1中，并将行的后24个值存储在Dataframe2中。 我按如下方式创建我的DF： 问题是：如何拆分它们？:) 问题答案： （iloc文档）
-
我目前有一个数据表，其中一列类型为“a b c d e...”。将此列称为“COL4” 我想通过拆分col4的元素来将单行拆分为多行，同时保留所有其他列的值。 COL1[0]COL2[0]COL3[0]a b c 我希望输出为： COL1[0]COL2[0]COL3[0]a COL1[0]COL2[0]COL3[0]a b c 这不是我想要的。
-
问题内容： 我有这样的数据我想创建一个PySpark数据框 我已经用过 但我总是得到 我如何获得如下所示的结果？ 问题答案： 我发现将参数视为元组列表很有用，其中列表中的每个条目对应于DataFrame中的一行，而元组的每个元素对应于一列。 您可以通过将列表中的每个元素设为元组来获得所需的输出： 或者，如果更改源很麻烦，则可以等效地执行以下操作：
-
问题内容： 我有一个看起来像这样： 两列都是String类型（StringType（）），我想将其放入spark ml randomForest中。为此，我需要将要素列转换为包含浮点数的向量。有谁知道怎么做吗？ 问题答案： 如果您使用的是 Spark 2.x ，我相信这就是您所需要的： 使用 Spark 1.6 并没有太大不同： 具有可以帮助您实现所要完成的功能的功能。
-
当读取从json到熊猫的数据时，一个多标准的酒店评级列被读取如下所示。我有2列在我的数据帧评级和评论ID。因为我从一个较大的Json读取数据框，所以评级列对每个审阅者都有一个条目，其形式如下： 我的目的是将评级列分为7个不同的列，每个列都有各自的标准值：' 任何有格式建议的人都会很有帮助。。 可用数据帧所需数据帧