Spark num执行者

Question

我在AWS上设置了一个10节点的HDP平台。下面是我的配置2台服务器——名称节点和备用名称节点7个数据节点，每个节点有40个vCPU和160 GB内存。

我试图在提交spark应用程序时计算执行者的数量，在浏览了不同的博客后，我对这个参数的实际含义感到困惑。

看看下面的博客，num executors似乎是所有节点上的执行者总数http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/

但是看看下面的博客，似乎num执行器是每个节点或服务器https://blogs.aws.amazon.com/bigdata/post/Tx578UTQUV7LRP/Submitting-User-Applications-with-spark-submit

请任何人澄清并回顾以下内容：-

>

我使用下面的计算得出核心计数，执行器计数和每个执行器的内存

核心数

用上面的计算这将是正确的方法

--master yarn-client --driver-memory 10G --executor-memory 22G --num-executors 7 --executor-cores 5 

OR

--master yarn-client --driver-memory 10G --executor-memory 22G --num-executors 49 --executor-cores 5 

谢谢Jayadeep

Answer 1

容量调度器出现故障。据我所知，它只允许你根据记忆安排时间。首先需要将其更改为主要资源计算器调度类型。这将允许您要求更多的内存和内核组合。一旦你改变了这一点，你应该能够要求与你的spark应用程序的杯子和内存。

至于--num-执行器标志，您甚至可以将其保持在1000的非常高的值。它仍然只分配每个节点上可能启动的容器数量。随着群集资源的增加，附加到应用程序的容器将会增加。每个节点可以启动的容器数量将受到分配给这些节点上的无需求者的资源量的限制。

Answer 2

请任何人澄清并回顾以下内容：-

1. num执行器的值是每个节点还是所有数据节点上执行器的总数。

您首先需要了解执行器是在节点管理器上运行的（您可以将其视为Spark standalone中的工作者）。将为您在纱线上的Spark应用程序分配相当于指定执行器数量的容器（包括vCPU、内存、网络、磁盘等）。现在，这些执行器容器将在多个节点管理器上运行，这取决于CapacityScheduler（HDP中的默认调度器）。

总之，total number of executors是您为应用程序运行指定的资源容器的数量。

请参阅此博客以更好地理解。

核心数

没有严格的公式来计算执行者的数量。相反，您可以尝试为应用程序启用纱线中的动态分配。