在Spark阶段有可能重新排序任务吗

Question

df.rdd
  .mapPartitionsWithIndex((i,rows) => Iterator((i,rows.size)))
  .toDF("id", "numElements")

我看到分区中的行数和任务的执行时间之间有明显的相关性。由于我的数据集具有无法更改的偏斜性质，我有几个分区，其元素数(>8000)远高于平均值(~3000)。一个分区的平均执行时间为10-20分钟，较大的可达3小时以上。我的一些最大的分区具有较高的ID，因此相应的任务几乎是在阶段结束时执行的。结果，其中一个Spark阶段在最后5个任务上挂起3个小时。

问题：

是否有一种方法可以重新排序分区的ID，以便首先执行来自最大分区的任务？或者等效地，是否有一种方法可以改变任务的执行顺序？

null

Answer 1

不，没有。如果是这样的话，现在应该在文件里了。

您无法控制任务的顺序（/优先级）--因为Spark任务调度程序没有定义这种顺序/优先级的接口。

Spark的工作方式与Informatica不同。一个阶段--因此所有的任务--必须在下一个阶段可以为给定的操作开始之前完全完成。