分组、排序和透视行的有效方法？

Question

我最近开始学习PySpark的大数据分析。我有以下问题，并试图找到一个更好的方法来实现这一点。我会带你解决下面的问题。

给定下面的pyspark数据框：

我想按列进行分组——Col1、Col2、Col3，并在每个组中按日期时间降序排序

然后，从每个排序的组中选出最上面的一行（即DateTime中最新的一行）

最后，透视Col3值并使用“值”

我该如何以一种有效的方式，以较小的步骤实现这一目标？提前感谢：）

Answer 1

试试这个：

data_df.withColumn("row_no", row_number().over(Window.partitionBy("Col1", "Col2", "Col3").orderBy("DateTime")))
  .filter(col("row_no") === 1)
  .select("Col1", "Col2", "Col3", "Value")
  .groupBy("Col1", "Col2")
  .pivot("Col3")
  .agg(collect_set("Value"))
  .show

我没有将DateTime作为排序的日期处理，所以您可以自己处理，但会得到正确的结果

Answer 2

让我们试试这个：

第一个问题

df.orderBy(df.Col1.asc(),df.Col2.asc(),df.Col3.asc()).show(truncate=False)

或

df.createOrReplaceTempView("DATA")
spark.sql("select Col1, Col2, Col3, DateTime, Value from DATA ORDER BY Col1 asc").show(truncate=False)

第二个问题...因为是你订的所以把副本扔了

df.dropDuplicates(["Col1","Col2","Col3"]).show()

让我们现在转向

import pyspark.sql.functions as psf
df.groupBy(["Col1","Col2"]).pivot("Col3").agg(psf.max("Value")).show()