如何在不平衡的执行器工作负载的流转时长重新平衡RDD

Question

假设我有一个包含1,000个元素和10个执行器的RDD。现在我用10个分区并行化RDD，并由每个执行器处理100个元素（假设每个执行器1个任务）。

我的困难是，其中一些分区任务可能比其他任务花费的时间要长得多，所以说8个执行器将很快完成，而剩下的2个执行器则将被困在执行时间更长的任务中。因此，主进程将等待2完成后再继续，8将处于空闲状态。

有什么方法可以让无所事事的执行者从忙碌的执行者那里“拿走”一些工作？不幸的是，我无法提前预测哪一个会比其他的更“忙”,所以无法提前适当地平衡RDD。

我能以某种方式让执行程序以编程方式相互通信吗？我想与执行程序共享一个DataFrame，但根据我所看到的，我无法在执行程序中操作DataFrame？

我使用的是火花 2.2.1 和 JAVA

Answer 1

尝试使用 spark 动态资源分配，该分配根据工作负荷上下缩放向应用程序注册的执行程序的数量。

您可以启用以下属性

spark.dynamicAllocation.enabled = true
spark.shuffle.service.enabled = true

您也可以考虑配置以下属性

spark.dynamicAllocation.executorIdleTimeout
spark.dynamicAllocation.maxExecutors
spark.dynamicAllocation.minExecutors

Spark提供了一种机制，可以根据工作负载动态调整应用程序占用的资源。这意味着，如果不再使用资源，应用程序可能会将资源返回集群，并在有需求时再次请求资源。如果多个应用程序共享Spark集群中的资源，此功能尤其有用。