访问PySpark中的计数列

Question

code:

mydf = testDF.groupBy(testDF.word).count()
mydf.show()

output:

+-----------+-----+
|       word|count|
+-----------+-----+
|        she| 2208|
|    mothers|   93|
|       poet|   59|
|     moving|   18|
|     active|    6|
|       foot|  169|

我想根据字数降序排列这个数据帧。

code:

countDF = mydf.orderBy(mydf.count.desc())
countDF.show()

Error:

AttributeError: 'function' object has no attribute 'desc'

请告诉我哪里出了问题。

Answer 1

点表示法并不是访问列的最佳方法。虽然DataFrame提供了列感知\uuuuu getattr\uuuuu但您可能会遇到类似这样的冲突，名称将解析为一个方法（此处DataFrame.count），因此最好使用括号表示法：

mydf.orderBy(mydf["count"].desc())

或col功能：

from pyspark.sql.functions import col

mydf.orderBy(col("count").desc())

以引用列。