如何在python中操作火花数据帧？[重复]

Question

有一个spark_df有许多重复如下：

Name       Cost
Alicja     5
Alicja     10
Alicja     7
Piotr      2
Piotr      8
Jon        5

现在我想将这个spark_df转换如下：

Name       min_Cost  max _cost
Alicja     5            10
Piotr      2            8
Jon        5            5

我在熊猫身上知道这一点。但是我正在努力学习火花，这样我就可以把它实施到大数据中。如果有人能帮忙，那就太好了。

Answer 1

使用groupby为每个Name聚合min和max：

import pyspark.sql.functions as f

df.groupby('Name').agg(
  f.min('Cost').alias('min_cost'), 
  f.max('Cost').alias('max_cost')
).show()
+------+--------+--------+
|  Name|min_cost|max_cost|
+------+--------+--------+
| Piotr|       2|       8|
|Alicja|       5|      10|
|   Jon|       5|       5|
+------+--------+--------+