为什么spark num-executors不等于纱线容器？
根据[Spark on YARN resource Manager：YARN容器和Spark Executors之间的关系，YARN容器的数量应该等于Spark应用程序的num-executors。然而，我在运行中确实看到Spark-UI environment选项卡中显示的num-executors是60个，但YARN中显示的容器数量只有37个。我使用的是Spark2.2，而Spark.DynamicAllocation.Enabled被设置为false。我使用的是Azure-HDinsight集群。有人能解释这一点吗？
共有1个答案
Spark-UI还显示了一些终止的执行者。它们可能已经被火花动态执行或通过纱线抢占移除。你通常可以判断遗嘱执行人是否还活着。
他们与众不同的另一个原因是Spark Driver。在“纱线集群”模式下，驱动程序也占用一个纱线容器。因此，在本例中，您也会看到+1个容器的差异。
-
我有一个包含5个节点的Hadoop集群，每个节点有12个核心，内存为32GB。我使用YARN作为MapReduce框架，因此我对YARN有以下设置： yarn.nodemanager.resource.cpu-vcores=10 yarn.nodemanager.resource.memory-MB=26100 然后，我的YARN cluster页面（http://myhost:8088/clus
-
我想创建一个test React应用程序，但我在安装时遇到了困难：我使用npm安装了Thread，因为Thread msi没有启动，所以： 我读了这个错误消息： 纱线产生v0。15.1错误：找不到包。C:\Users***\React中的json（或bower.json）文件位于C:\Users***\AppData\Roaming\npm\node\u modules\yarnpkg\lib\c
-
问题内容： 为什么线程不等待？线程启动，然后进入等待池，但是在那一刻之后它将继续执行。 问题答案： 您正在线程对象本身上进行同步，这是错误的用法。即将发生的事情是，即将死去的执行线程总是调用其对象： 依赖于this。因此，很清楚为什么在其中有或没有自己的情况下都会得到相同的行为。 解决方案：使用单独的对象进行线程协调；这是标准做法。
-
问题内容： 我正在阅读本文： 在SQL中获取null == null 共识是，当尝试测试两个（可空）sql列之间的相等性时，正确的方法是： 当A和B为时，（A = B）仍返回FALSE，因为NULL不等于NULL。这就是为什么需要额外检查的原因。 检验不平等情况如何？经过以上讨论，我认为要测试不平等，我需要做一些类似的事情： 但是，我注意到这不是必需的（至少在informix 11.5上没有），我
-
我在AWS EMR Spark上运行一个应用程序。这里，是spark提交作业- AWS使用纱线进行资源管理。我正在查看指标（下面的屏幕截图），对纱线“容器”指标有疑问。 这里，分配的容器显示为2。但是，我使用了4个节点（3个从1个主节点），所有8个内核CPU。那么，只有2个容器是如何分配的呢？
-
问题内容： 我在ColdFusion代码中碰巧遇到了这些值，但Google计算器似乎有相同的“错误”，但差不为零。 416582.2850-411476.8100-5105.475 = -2.36468622461E-011 http://www.google.com/search?hl=zh_CN&rlz=1C1GGLS_enUS340US340&q=416582.2850+-+411476.8