谁能让我知道在spark提交作业中如何决定--executor内存和--num-of-executors。核数的概念是什么

Question

如何决定spark提交作业中的--executor内存和--num-of-executors。核数的概念是什么。

集群和客户端部署模式之间的明显区别。如何选择部署模式

Answer 1

问题的第一部分询问--executor-memory、--num-executors和--num-executor-cores通常取决于Spark应用程序将要执行的任务的种类。

• Executor Memory指示您希望分配给运行Executor的JVM的物理内存量。价值将取决于您的要求。例如，如果您只想解析一个大的文本文件，那么您所需的内存将比图像处理所需的要少得多。
• number of executors变量是希望在集群上生成的Executor JVM的数量。同样，这取决于许多因素，如集群大小、集群中的机器类型等
• 每个执行程序拆分代码并执行tasks中的指令。这些任务在执行器内核（或处理器）中执行。这有助于您在某个执行器内实现并行性，但要确保您不会将计算机的所有内核分配给它的执行器，因为它的正常运行需要一些内核。

关于问题的第二部分，我们在Spark中有两个--deploy-mode，您已经命名了它们，即cluster和client。

• 客户端模式是将外部计算机连接到群集并从该外部计算机运行spark作业时的模式。比如当您将笔记本电脑连接到集群并从集群运行spark-shell时。在您的笔记本电脑中调用驱动程序JVM，一旦您断开笔记本电脑的连接，会话就会被终止。类似于spark-submit作业的情况，如果您使用--deploy-mode client运行作业，您的膝上型计算机就像主机一样运行，但一旦断开连接，该作业就会被终止（不确定这一点）。
• cluster模式：当您在作业中指定--deploy-mode cluster时，即使您使用笔记本电脑或任何其他计算机运行它，作业(JAR)也将由ResourceManager和ApplicationMaster处理，就像Yarn中的任何其他应用程序一样。您将无法在屏幕上看到输出，但无论如何，大多数复杂的Spark作业都写入FS，因此可以这样处理。