将RDD划分为每个分区中元素数量固定的分区

Question

在Apache Spark中，

repartition（n）-允许将RDD精确划分为n分区。

而是如何将给定的RDD划分成分区，使得所有分区(最后一个分区除外)都具有指定数量的元素。鉴于RDD元素的数量是未知的，做<代码>。count()的开销很大。

C = sc.parallelize([x for x in range(10)],2)
Let's say internally,  C = [[0,1,2,3,4,5], [6,7,8,9]]  
C = someCode(3)

预期：

C = [[0,1,2], [3,4,5], [6, 7, 8], [9]]

Answer 1

在pyspark中相当容易：

    C = sc.parallelize([x for x in range(10)],2)
    rdd = C.map(lambda x : (x, x))
    C_repartitioned = rdd.partitionBy(4,lambda x: int( x *4/11)).map(lambda x: x[0]).glom().collect()
    C_repartitioned

    [[0, 1, 2], [3, 4, 5], [6, 7, 8], [9]]

这称为自定义分区。更多信息：http://sparkdatasourceapi.blogspot.ru/2016/10/patitioning-in-spark-writing-custom.html

http://baahu.in/spark-custom-partitioner-java-example/