spark何时以及如何在执行器上分配分区

Question

spark如何给一个执行器分配一个分区？

当我使用 1 个驱动程序和 5 个执行器在火花外壳中运行以下行时：

> var data = sc.textFile("file") // auto generates 2 partitions
> data.count()                   // materialize partitions on two nodes
> data = data.repartition(10)    // repartition data.count()            
> data.count()                   // 10 partitions still on original 2 nodes

重新分区后，10个分区仍然位于原来的两个节点上（总共5个）。这似乎非常低效，因为5个任务在包含分区的每个节点上重复运行，而不是平均分布在节点上。在同一个rdds上重复多次的迭代任务中，效率低下最为明显。

所以我的问题是，Spark如何决定哪个节点具有哪个分区，有没有办法强制将数据移动到其他节点？

Answer 1

我只是在这里提供一个猜测来展示逻辑（不一定是真正发生的事情）。

让我们假设你的文件不是很大，也就是说，它可以放在HDFS的一个街区内。假设数据块被复制到2个节点。如果您想在第三个节点上进行处理，这意味着您需要复制它。由于count是一个相对快速的计算，因此处理任务所需的时间可能相对较少。Spark可能认为等待并在本地进行处理比将数据转移到其他节点更好(您可以配置这个参数)。