Spark 2.3数据帧分区想要在n个分区中的密钥上对数据进行分区

Question

我需要spark（scala）数据帧分区方面的帮助。我需要按一个键列划分成n个分区，与同一个键相关的所有行都应该在同一个分区中（即，键不应该分布在整个分区中）

注意：我的钥匙可能有几百万

例如：假设我有下面的数据框

等等等等

正如您所看到的，许多值共享相同的键。我想将此数据集划分为"n"个分区，其中相同的键应该在相同的分区中，并且键不应该分布在分区之间。多个键驾驶室位于同一分区，键不可排序。

提前谢谢

Answer 1

尝试

def repartition(partitionExprs: org.apache.spark.sql.Column*): org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] 

val df = Seq(("aa","vv"),("aa","v1v1"),("a1","v2")).toDF("Key","Value")
 val partionedDf = df.repartition(col("Key"))

Answer 2

可以在将数据帧写入基于文件的输出时对其进行分区。比如：

df.write.partitionBy("colName").format("parquet").save(path-to-file)

这将创建目录结构

path
└── to
    └── file
         ├── colName=value1
                       └── data.parquet
         ├── colName=value2
                       └── data.parquet

当您加载数据和过滤器时，谓词将被下推到源文件中，您可以获得分区的性能优势

这不是你要找的吗？

Answer 3

根据《Spark-the Definitive Guide》一书的介绍，Spark有两个内置的分区器，一个用于离散值的HashPartitioner和一个RangePartitioner。两者都适用于离散值和连续值。

HashPartitioner示例：

import org.apache.spark.HashPartitioner

val rdd = df.rdd // convert DataFrame to low-level RDD
val keyedRDD = rdd.keyBy(...) // define your custom key
keyedRDD.partitionBy(new HashPartitioner(n))

示例分区器：

scala prettyprint-override">import org.apache.spark.Partitioner

class DomainParitioner extends Partitioner {
  def numPartitions = n
  def getPartition(key: Any): Int = {
    // your custome partition logic
  }
}

keyedRDD.partitionBy(new DomainPartitioner).map(_._1).glom().map(_.toSet.toSeq.length)

书中还提到，您应该注意键歪斜，这意味着一些键可能比其他键具有更多的值。您希望尽可能地打破这些键，以提高并行性，并在执行过程中防止OutOfMemory错误。