Spark DataFrame group按降序排序（pyspark）

Question

我正在使用pyspark（Python 2.7.9/Spark 1.3.1），并且有一个需要过滤的dataframe GroupObject

group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False)

但它抛出了以下错误。

sort() got an unexpected keyword argument 'ascending'

Answer 1

到目前为止，最方便的方法是使用：

df.orderBy(df.column_name.desc())

不需要特殊的进口。

Answer 2

使用orderBy：

df.orderBy('column_name', ascending=False)

完整答案：

group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)

http://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html

Answer 3

在PySpark 1.3中，排序方法不接受升序参数。可以使用desc方法代替：

from pyspark.sql.functions import col

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(col("count").desc()))

或desc功能：

from pyspark.sql.functions import desc

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(desc("count"))

这两种方法都可以与Spark一起使用