使用两列按不同顺序排序Spark Dataframe

Question

比如说，我有一张这样的桌子：

A,B
2,6
1,2
1,3
1,5
2,3

我想按列A的升序排序，但在此范围内，我想按列B的降序排序，如下所示：

A,B
1,5
1,3
1,2
2,6
2,3

我曾尝试使用orderBy（“A”，desc（“B”），但它给出了一个错误。

我应该如何在Spark 2.0中使用dataframe编写查询？

Answer 1

desc是正确的使用方法，但这并不是说它是Columnn类中的方法。因此，应按如下方式应用：

df.orderBy($"A", $"B".desc)

$"B". desc返回一个列，因此"A"也必须更改为$"A"（或"A"），如果没有导入火花暗示）。

Answer 2

使用列方法desc，如下所示：

val df = Seq(
  (2,6), (1,2), (1,3), (1,5), (2,3)
).toDF("A", "B")

df.orderBy($"A", $"B".desc).show
// +---+---+
// |  A|  B|
// +---+---+
// |  1|  5|
// |  1|  3|
// |  1|  2|
// |  2|  6|
// |  2|  3|
// +---+---+