Apache Spark：核数与执行程序数的关系

Question

我试图理解在Yarn上运行Spark作业时，核数和执行器数的关系。

测试环境如下：

• 数据节点数:3
• 数据节点计算机规范：
  • CPU:Core i7-4790（内核数:4，线程数:8)
  • RAM:32GB(8GB x 4)
  • HDD:8TB(2TB x 4)

  输入数据

  • 类型：单文本文件
  • 大小:165GB
  • 行数:454,568,833

  输出

  null

  >

• 50分钟15秒

  55分48秒

  31分23秒

  有关信息,performance monitor屏幕截图如下：

  • （1）的神经节数据节点摘要-作业于04:37启动。

  

  • （3）的神经节数据节点摘要-作业于19:47开始。请忽略该时间之前的图形。

  

  null

Answer 1

为了使所有这些更具体，这里有一个配置Spark应用程序以尽可能多地使用集群的工作示例：假设一个集群有六个运行NodeManagers的节点，每个节点配备16个核心和64GB内存。NodeManager容量，yarn.NodeManager.resource.memory-MB和yarn.NodeManager.resource.cpu-vcores，可能应该分别设置为63*1024=64512（兆字节）和15。我们避免将100%的资源分配给纱容器，因为节点需要一些资源来运行OS和Hadoop守护进程。在这种情况下，我们为这些系统进程留下一个千兆字节和一个核心。Cloudera Manager通过计算这些信息并自动配置这些纱线属性来提供帮助。

可能的第一个冲动是使用--数量执行器6--执行器核心15--执行器存储器63G。然而，这是错误的做法，因为：

63GB+执行器内存开销不适合Nodemanagers的63GB容量。应用程序主机将占用其中一个节点上的一个核，这意味着该节点上没有空间容纳15个核的执行器。每个执行器有15个核心可能会导致不良的HDFS I/O吞吐量。

更好的选择是使用-num-executors17-executor-cores5-executor-memory19g。为什么？

这个配置会在所有节点上产生三个执行器，但带有AM的节点除外，该节点将有两个执行器。--执行器--内存导出为（每个节点63/3个执行器）=21。21*0.07=1.47。21～1.47～19。

Cloudera博客中的一篇文章给出了解释，文章名为How-to：Tune Your Apache Spark Jobs（Part 2）。