pyspark-分组并选择N个最高值

Question

我有这样的数据：

+----------+----------+--------+
| Location | Product  | Amount |
+----------+----------+--------+
| London   | Fish     |    307 |
| London   | Chips    |    291 |
| London   | Beer     |    147 |
| Paris    | Baguettes|    217 |
| Paris    | Cheese   |    103 |
| Paris    | Champagne|     74 |
+----------+----------+--------+

自然有许多地点和许多产品每个地点。我希望以这样的数据流结束：

+----------+---------------------+-------------------------+-------+-------------------------+
| Location | Most Common Product | 2nd Most Common Product |.....  | Nth Most Common Product |
+----------+---------------------+-------------------------+-------+-------------------------+
| London   | Fish                | Chips                   | ....  |     something           |
| Paris    | Baguettes           | Cheese                  | ....  |     something else      |
+----------+---------------------+-------------------------+-------+-------------------------+

我想出了最常见的方法，用这个。

在将其扩展到N个最常见的时，我可以创建另一个删除这些行的dataframe，再次运行该过程以获得第二个最常见的，并按位置将它们连接在一起。通过适当的列命名，可以将其放入循环中运行N次，每次迭代添加一个列。

然而，这将是非常缓慢的，因为它将划分和加入每个迭代。例如，我如何以更好的方式获得每个位置最常见的50个？

Answer 1

您可以使用枢轴-

首先，您需要创建一个row_number，然后在此基础上应用Pivot-

from pyspark.sql.functions import first
from pyspark.sql import functions as f

df_data.withColumn("row_number", f.row_number().over(Window.partitionBy("Location").orderBy(col("unit_count").desc())))

(df_data
    .groupby(df_data.Location)
    .pivot("row_number")
    .agg(first("Product"))
    .show())