如何在Spark SQL中按列降序排序？

Question

我尝试了df.orderby（“col1”）.show(10)，但它是按升序排序的。df.sort（“col1”）。show(10)也按升序排序。我查看了stackoverflow，发现的答案都是过时的或引用了RDDS。我想在Spark中使用原生的dataframe。

Answer 1

您还可以通过导入spark sql函数对列进行排序

import org.apache.spark.sql.functions._
df.orderBy(asc("col1"))

或

import org.apache.spark.sql.functions._
df.sort(desc("col1"))

正在导入sqlcontext.implicits._

import sqlContext.implicits._
df.orderBy($"col1".desc)

或

import sqlContext.implicits._
df.sort($"col1".desc)