spark如何选择运行执行器的节点？（spark on yarn）
spark如何选择节点来运行执行器？（spark on yarn）我们使用spark on yarn模式，集群有120个节点。昨天，一个spark作业创建了200个执行器，而node1上有11个执行器，node2上有10个执行器，其他执行器平均分布在其他节点上。
spark如何选择要运行执行器的节点？据yarn ResourceManager报道？
共有1个答案
群集管理器跨其他应用程序分配资源。我认为问题是优化配置不好。您需要在动态分配上配置Spark。在这种情况下，Spark将分析集群资源并添加更改以优化工作。
您可以在这里找到有关Spark资源分配以及如何配置它的所有信息：http://site.clairvoyantsoft.com/dermanding-resource-allocation-configurations-spark-application/
-
并编写下面的查询，它是只在我的master上运行，还是将所有10个节点都用作worker？ 如果不是，我必须做什么才能让我的Spark Sql使用完整的集群？
-
我实现了执行器endpoint，如下所示： 如果我试图访问http://localhost:9992/admin/test/filter/configurator/true，则缺少参数：enable。参考附件截图。 遗漏参数
-
第二种形式的条件执行是选择执行，选择执行中存在有两种可能，由条件表达式来决定哪种可能被执行。语法看起来像这样： if( x%2 == 0) { cout << "x is even" << endl; }else{ cout << "x is odd" << endl; } 如果x除以2得到的余数是0，则我们知道X是偶数，代码会输出一条信息表明此意。由于条件非真即假，因而有且仅有一条语句
-
问题内容： 如何从Java（或Scala）代码中配置具有和的执行器数量？我经常看到2个执行者。看起来像是行不通的，并且是与众不同的。 我只需要将执行程序的数量设置为等于集群大小，但是总是只有2个。我知道我的集群大小。如果这很重要，我会在YARN上运行。 问题答案： 好的，我知道了。执行程序的数量实际上不是Spark属性本身，而是用于在YARN上放置作业的驱动程序。因此，当我使用SparkSubmi
-
我已经将spark.executor.memory设置为2048M，在UI“环境”页面中，我可以看到这个值已经设置正确。但是在“executors”页面中，我看到只有一个executor，它的内存是265.4MB。非常奇怪的价值。为什么不是256MB，或者就像我设定的那样？
-
我在运行节点服务器时一直面临以下错误，但代码以前可以正常工作。有专家可以解决这个问题吗？ 下面是server.js的错误部分