如何使用RDDAPI在分区内排序（并避免跨分区排序）？

Question

Hadoop MapReduce的默认行为是在分区内对schffle键进行排序，但不是跨分区（它是使键跨部分排序的总排序）

我想问如何使用Spark RDD实现同样的事情(分区内排序，但不跨分区排序)

< li>RDD的< code>sortByKey方法是进行总排序 < li>RDD的< code > repartitionandsorttwithinpartitions 在分区内进行排序，而不是跨分区，但不幸的是，它增加了一个额外的步骤来进行重新分区。

有没有一种直接的方法可以在分区内而不是跨分区进行排序？

Answer 1

我以前从未有过这种需求，但我的第一个猜测是使用任何*Partition*方法（例如foreachPartition或 ）在每个分区内进行排序。

因为它们给了你一个Scala 迭代器，你可以使用< code>it.toSeq然后应用Seq的任何排序方法，例如< code>sortBy或< code>sortWith或< code>sorted。

Answer 2

您可以使用< code>Dataset和< code > sort within partitions 方法:

import spark.implicits._

sc.parallelize(Seq("e", "d", "f", "b", "c", "a"), 2)
  .toDF("text")
  .sortWithinPartitions($"text")
  .show

+----+
|text|
+----+
|   d|
|   e|
|   f|
|   a|
|   b|
|   c|
+----+

一般来说，混洗是对分区进行排序的一个重要因素，因为它重用混洗结构来进行排序，而无需一次将所有数据加载到内存中。