Apache Spark：理解驱动程序和执行程序配置的术语

Question

我经常在每个分布式计算开源项目中看到以下术语，尤其是在Apache spark中，希望用一个简单的例子来解释。

• spark.driver.cores - 仅在群集模式下用于驱动程序进程的核心数。
• 火花驱动程序内存 - 用于驱动程序进程的内存量
• spark.executor.cores - 每个执行器上使用的核心数
• spark.executor.memory - 每个执行程序进程要使用的内存量
• 火花 . 为每个任务分配的核心数。

例如，如果有三台带有英特尔i5处理器（CPU）的计算机C1、C2和C3，其具有4个内核（shorturl.at/apsSW），并假定16 GB RAM和1 TB辅助存储（已安装/内置）。

如果我们把C1作为主计算机/服务器/节点(Uff..太多的术语)和C2，C3作为奴隶/工人/执行者

在高级别上，我认为（假设文件不在C1，C2或C3中，而是在某些云存储中） - 当我们在驱动程序（C1）上提交spark程序（假设程序关于在驱动程序控制台上读取和显示第一行的程序）时，它告诉其执行器（C2和C3）通过分区中的互联网/Intranet从该CSV文件中获取数据（如果分区在程序中定义）。

但是，

1. 不知道驱动核心和内存如何

Answer 1

那么，如果我在spark cluster环境中使用这三台带有YARN的计算机来处理1 GB的CSV文件，上面提到的术语应该放在哪里呢？

默认情况下，您将有一个驱动程序随机分配给这三个节点之一。（有1 gig内存，1个核心）和2个（如果我没记错的话）分配的执行器（每个1个核心有1 gig内存）

当然，所有这些都是可配置的，但是最好坚持默认设置，直到内存耗尽。

不知道驱动核心和内存如何

很好，在内存耗尽/需要更高性能之前不要使用它。不要预先调整配置。等到出现性能问题后再解决。人们通常会给一个进程分配8个Gig 8个核心，并使用50k和1个核心。有一些设置可以在出现问题时稍后调整性能。知道这一点，当你遇到问题时，就开始调整它们。

h..说到流程这个术语，它总是与核心联系在一起。一个过程到底代表什么，它代表星火计划背后的过程吗？

我真的不知道该怎么问。计算需要资源。您需要空间或内核来处理信息。

还有，任务……这些任务代表了从spark程序衍生出来的过程吗？

任务是由您编写的程序定义的工作单元。看看火花UI，它会给你一些关于事情如何工作的直觉。

在云计算中，有一个术语vCPU更容易混淆，vCPU是否对应于单个核心？

它允许您定义计算机上的内核数。您可以低估或过度将它们规定到节点，这取决于您的需求。现在，将它们想象成定义节点可用内容的方式，并且火花将它们解释为核心。