spark中的默认分区

Question

我有一个关于RDD中默认分区的问题。

case class Animal(id:Int, name:String)   
val myRDD = session.sparkContext.parallelize( (Array( Animal(1, "Lion"), Animal(2,"Elephant"), Animal(3,"Jaguar"), Animal(4,"Tiger"), Animal(5, "Chetah") ) ))

Console println myRDD.getNumPartitions  

myRDD.foreachPartition( e => { println("----------"); e.foreach(println) } )

----------
----------
----------
----------
----------
----------
----------
----------
----------
----------
----------
----------
Animal(2,Elephant)
Animal(4,Tiger)
Animal(3,Jaguar)
Animal(5,Chetah)
Animal(1,Lion)

我不知道为什么会这样。你能帮忙吗。

谢了！

Answer 1

我不认为这意味着您的所有数据都在最后一个分区中。相反，由于foreachpartition是并行执行的，所以在打印值之前，可能已经从所有执行器打印了虚线。打印行的顺序并不表示执行的顺序。

如果您尝试下面的代码（源代码），您可以看到数据在执行器之间被均匀地分区（至少在我的机器上是这样）：

myRDD.mapPartitionsWithIndex((index, itr) => itr.toList.map(x => x + "#" + index).iterator).collect
// res6: Array[String] = Array(Animal(1,Lion)#1, Animal(2,Elephant)#2, Animal(3,Jaguar)#3, Animal(4,Tiger)#4, Animal(5,Chetah)#5)