apache spark执行器和数据局部性

Question

如果我理解正确的话，在静态分配中，当Spark上下文在集群中的所有节点上创建时（在集群模式下），Spark应用程序将获取执行器。我有几个问题

>

如果在所有节点上都获得了执行器，并且在整个应用程序的持续时间内一直分配给这个应用程序，那么是否有很多节点都处于空闲状态？

在创建Spark上下文而不是在DagScheduler中时获取资源的优势是什么？我的意思是应用程序可以任意长，它只是保存资源。

我检查了一个相关的问题，纱线上的Spark在启动执行程序时是否处理数据局部性

但我不确定有什么结论性的答案

Answer 1

1. 如果在所有节点上都获得了执行器，并且在整个应用程序的持续时间内将继续分配给该应用程序，那么是否有很多节点仍然处于空闲状态？

是的。有机会。如果您有数据倾斜，这将发生。挑战是优化executors和executor核心，以便获得最大的利用率。Spark还提供了动态资源分配，以确保空闲的执行器被删除。

Spark试图在执行转换时将数据保留在内存中。与map-reduce模型相反，在map-reduce模型中，在每次Map操作之后，它都Spark只有在确保代码在同一台机器上执行的情况下才能将数据保存在内存中。这就是事前配置资源的原因。