在PySpark中按降序排序

Question

我正在使用PySpark（Python 2.7.9/Spark 1.3.1），并有一个需要过滤的dataframe GroupObject

group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False)

但它会抛出以下错误。

sort() got an unexpected keyword argument 'ascending'

Answer 1

到目前为止，最方便的方法是使用：

df.orderBy(df.column_name.desc())

不需要特殊进口。

Answer 2

使用排序依据：

df.orderBy('column_name', ascending=False)

完整答案：

group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)

http://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html

Answer 3

在PySpark 1.3排序方法不采用升序参数。您可以使用desc方法代替：

from pyspark.sql.functions import col

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(col("count").desc()))

或描述功能：

from pyspark.sql.functions import desc

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(desc("count"))

这两种方法都可以与Spark一起使用