火花：如何在所有分区中均匀分配我的记录

Question

我有一个有 30 条记录的 RDD（键/值对：键是时间戳，值是 JPEG 字节数组），
我正在运行 30 个执行器。我想将此 RDD 重新分区为 30 个分区，以便每个分区获得一条记录并分配给一个执行器。

当我使用 rdd.repartition（30） 时，它会在 30 个分区中重新分区我的 rdd，但有些分区得到 2 条记录，有些得到 1 条记录，有些没有得到任何记录。

在Spark中，有没有什么方法可以将我的记录平均分配到所有分区。

Answer 1

您可以使用分区通过命令并提供多个分区来强制执行新的分区。默认情况下，分区器是基于哈希的，但您可以切换到基于范围的以获得更好的分布。如果您真的想强制重新分区，您可以使用随机数生成器作为分区函数（在PySpark中）。

my_rdd.partitionBy(pCount, partitionFunc = lambda x: np.random.randint(pCount))

但是，这经常会导致低效的洗牌（节点之间传输大量数据），但是如果您的进程计算有限，那么它是有意义的。

Answer 2

下面是一个将rdd重新分区为n分区分区的示例，以便项目在分区中均匀分布。每个分区中的项目数量最多相差1个。

evenly_repartitioned = (
    rdd
    .zipWithIndex()
    .map(lambda p: (p[1], p[0]))
    .partitionBy(N, lambda p: p)
    .values()
)

确实如此:

• 创建（项目，索引）的元组，其中索引位于整个RDD上
• 交换键和值，所以现在RDD包含（index，项目）
• 使用标识重新分区到N分区，将项目移动到分区index%N
• 只取值，删除元组中的索引。

请注意，这比默认的基于哈希的重新分区要慢，因为在< code > ziptwithindex()期间，它需要另一个Spark阶段来计算每个分区的大小。

Answer 3

可以使用盐渍技术，包括添加新的“假”密钥并与当前密钥一起使用以更好地分发数据。

（这里是腌制链接）