带纱线的火花流应用配置

Question

在配置spark应用程序时，我试图从集群中挤出每一点，但似乎我并没有完全正确地理解每一件事。因此，我正在AWS EMR集群上运行该应用程序，该集群具有1个主节点和2个m3类型的核心节点。xlarge（每个节点15G ram和4个vCPU）。这意味着，默认情况下，每个节点上为纱线调度的应用程序保留11.25 GB。因此，主节点仅由资源管理器（纱线）使用，这意味着剩余的2个核心节点将用于调度应用程序（因此，我们有22.5G用于此目的）。到现在为止，一直都还不错。但我不明白的部分来了。我使用以下参数启动spark应用程序：

--驱动程序内存4G--num executors 4--executor cores 7--executor内存4G

根据我的理解（根据我所发现的信息），这意味着驱动程序将被分配4G，4个执行者将被启动，每个执行者都将使用4G。因此，粗略估计为5*4=20G（让我们用预期的内存储备将其设为21G），这应该很好，因为我们有22.5G用于应用程序。以下是hadoop发布后的UI截图：

我们可以看到应用程序使用了17.63，但这比预期的~21G略少，这引发了第一个问题——这里发生了什么？

然后我转到spark UI的executors页面。更大的问题来了：

执行器是3个（不是4个），分配给它们的内存和驱动程序是2.1G（不是指定的4G）。因此hadoop纱线表示使用了17.63G，但spark表示分配了8.4G。那么，这里发生了什么？这是否与容量调度器有关（从文档中我无法得出这个结论）？

Answer 1

你能检查一下是否有火花吗。动态定位。已启用。如果是这种情况，那么spark应用程序可能会在不再使用资源时将资源返回给集群。启动时要启动的执行器的最小数量将由spark决定。执行人。实例。

如果不是这样的话，spark应用程序的源是什么以及为此设置的分区大小是什么，spark会将分区大小映射到spark核心，如果源只有10个分区，并且当您尝试分配15个核心时，它只会使用10个核心，因为这是所需的。我想这可能是spark推出了3名执行者而不是4名执行者的原因。关于内存，我建议您重新访问，因为您需要4个执行器和1个4Gb驱动程序，每个4Gb大约等于22GB，并且您正在尝试用尽所有资源，您的操作系统和节点管理器运行的空间不多，这不是理想的方式。