如何使用orderby（）与降序在火花窗口函数？

Question

我需要一个窗口函数，该函数按一些键（=列名）进行分区，按另一个列名排序，并返回排名前x的行。

这适用于升序：

def getTopX(df: DataFrame, top_x: String, top_key: String, top_value:String): DataFrame ={
    val top_keys: List[String] = top_key.split(", ").map(_.trim).toList
    val w = Window.partitionBy(top_keys(1),top_keys.drop(1):_*)
       .orderBy(top_value)
    val rankCondition = "rn < "+top_x.toString
    val dfTop = df.withColumn("rn",row_number().over(w))
      .where(rankCondition).drop("rn")
  return dfTop
}

但当我试图在第4行中将其更改为orderBy（desc（top_value））或orderBy（top_value.desc）时，我得到了一个语法错误。这里的正确语法是什么？

Answer 1

柱

col = new Column("ts")
col = col.desc()
WindowSpec w = Window.partitionBy("col1", "col2").orderBy(col)

Answer 2

例如，如果我们需要在Window函数中按降序排列名为Date的列，请在列名称前使用$符号，这将使我们能够使用asc或desc语法。

Window.orderBy($"Date".desc)

用双引号指定列名后，给出. desc，它将按降序排序。

Answer 3

有两个版本的orderBy，一个用于字符串，另一个用于列对象（API）。您的代码使用的是第一个版本，不允许更改排序顺序。您需要切换到列版本，然后调用desc方法，例如mycl。描述。

现在，我们进入API设计领域。传递列参数的优点是，您有更大的灵活性，例如，您可以使用表达式等。如果您想维护一个API，该API接收字符串而不是列，则需要将字符串转换为列。有很多方法可以做到这一点，最简单的方法是使用org。阿帕奇。火花sql。功能。col（myColName）。

综合起来，我们得到了

.orderBy(org.apache.spark.sql.functions.col(top_value).desc)