Spark 驱动程序的内存如何影响执行程序资源？

Question

我正在通过阅读高性能Spark来学习如何配置Spark应用程序，其中提到的一句话让我感到困惑：

根据我的经验，设置Spark驱动程序内存的良好启发式方法只是不会导致驱动程序内存错误的最低可能值，即为执行程序提供最大可能的资源。

我的理解是驱动程序存在于它自己的节点中，而执行程序独立存在于工作节点上。我本以为我可以最大限度地利用驱动程序内存，而不必担心它会影响执行程序。

这本书的建议是真的吗？如果是，驱动程序内存为什么/如何影响执行器资源？

Answer 1

Spark 驱动程序的内存如何影响执行程序资源？

它不会（除了一种边缘情况，即驱动程序和执行程序都在同一台机器上运行）。

我的理解是驱动程序存在于它自己的节点中，而执行程序独立存在于工作节点上。我本以为我可以最大限度地利用驱动程序内存，而不必担心它会影响执行程序。

这也是我的理解，似乎找不到一个部署场景来证明我们是错的。

我认为没有“即”部分的段落更有意义。

根据我的经验，设置Spark驱动程序内存的一个很好的启发式方法就是尽可能低的值，这不会导致驱动程序内存错误。

这完全没问题。

Answer 2

排除本地模式，驱动程序可以与执行程序共存：

• 在集群模式下，驱动程序在其中一个工作节点上运行。
• 在客户端模式下，如果它已在其中一个工作节点上启动。

在这两种情况下，驱动程序都可以与执行程序竞争相同的资源池。在第一种情况下，它发生在资源管理器级别，在第二种情况下发生在主机系统级别。

第二种情况不太有趣，但在第一种情况下，分配给驱动程序的资源将减少集群管理器可以提供给执行者的池。