pyspark中groupBy后的列别名

Question

我需要下一行中的结果数据帧，以便在groupBy之后的max（'diff'）列具有别名“maxDiff”。但是，下面的行不会进行任何更改，也不会引发错误。

 grpdf = joined_df.groupBy(temp1.datestamp).max('diff').alias("maxDiff")

Answer 1

除了这里已经给出的答案之外，如果您知道聚合列的名称，那么以下也是方便的方法，您不必从pyspark导入。sql。功能：

1.

grouped_df = joined_df.groupBy(temp1.datestamp) \
                      .max('diff') \
                      .selectExpr('max(diff) AS maxDiff')

有关. selectExpr（）的信息，请参阅文档

2.

grouped_df = joined_df.groupBy(temp1.datestamp) \
                      .max('diff') \
                      .withColumnRenamed('max(diff)', 'maxDiff')

有关的信息，请参阅文档。

这里的答案更为详细：https://stackoverflow.com/a/34077809

Answer 2

这是因为您混淆现象是整个DataFrame对象，而不是Col列。下面是一个如何仅别名列的示例：

import pyspark.sql.functions as func

grpdf = joined_df \
    .groupBy(temp1.datestamp) \
    .max('diff') \
    .select(func.col("max(diff)").alias("maxDiff"))

Answer 3

您可以使用agg而不是调用max方法：

from pyspark.sql.functions import max

joined_df.groupBy(temp1.datestamp).agg(max("diff").alias("maxDiff"))

类似于Scala

scala prettyprint-override">import org.apache.spark.sql.functions.max

joined_df.groupBy($"datestamp").agg(max("diff").alias("maxDiff"))

或

joined_df.groupBy($"datestamp").agg(max("diff").as("maxDiff"))