当前位置: 首页 > 知识库问答 >
问题:

Spark:Spark UI不反映正确的执行者计数

朱修德
2023-03-14

我们正在运行一个spark流应用程序,希望增加spark使用的执行器的数量。...所以更新了spark-default.conf,将spark.executor.instances从28个增加到40个,但是这个变化没有反映在UI中

1 Master/Driver Node : 
  Memory :24GB Cores :8 

4 Worker Nodes : 
  Memory :24GB Cores :8

spark.streaming.backpressure.enabled     true
spark.streaming.stopGracefullyOnShutdown true
spark.executor.instances                 28
spark.executor.memory                    2560MB
spark.executor.cores                     4
spark.driver.memory                      3G
spark.driver.cores                       1

注意:重新启动了spark start-master.sh和start-slaves.sh但没有变化。在这方面的任何帮助都将不胜感激。这是yarn-site.xml

<configuration>

    <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hdfs-name-node</value>
    </property>

    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>22528</value>
    </property>

    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>7</value>
    </property>

    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>22528</value>
    </property>

    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value>
    </property>

    <property>
        <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
        <value>500</value>
    </property>

    <property>
         <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
         <value>512</value>
    </property>

    </configuration>

共有1个答案

许鸿志
2023-03-14

yarn-site配置为每个节点分配了7个核心,因此总共有35个核心,这意味着最多可以用1个核心运行34个执行器(1个核心用于驱动程序)。

 类似资料:
  • 目前我正在为学校做一个项目,下面是要求: 编写一个Temperature类,它将保持以华氏为单位的温度,并提供获取以华氏、摄氏度和开尔文为单位的温度的方法。该类应具有以下字段: :保持华氏温度的倍增器。 该类应具有以下方法: :构造函数接受华氏温度(双倍)并将其存储在ftemp字段中。 :set Fahrenheit方法接受一个华氏温度(作为双值),并将其存储在ftemp字段中。 :返回ftemp

  • 我仍在努力理解如何使用ScheduledExecutorService。我想要一个ScheduledExecutorService/ScheduledThreadPoolExecutor,它调度多个任务,并允许它们运行固定的时间。一旦不再调度任务,我就要关闭ScheduledThreadPoolExecutor。我试图通过编写一些测试来理解这是如何工作的。我尝试的第一件事是: 这工作得很好,我得到

  • 我正试图写一个C程序来计算元音、键击和字母字符的数量。击键计数器正在工作,但是元音计数器总是关闭一个元音。阿尔法计数器坏了。

  • 我正在尝试匹配从服务器下载的文件的md5sum。只有当总和匹配时,处理才会继续。 上面的代码并没有每次为某些文件正确提供md5sum。 当我去控制台检查md5sum时 下载文件的vimdiff未提供任何差异。。下载后的文件是正确的。 我无法在上述代码中看到问题。 我正在尝试更改缓冲区大小。但没有运气,所以我猜这不是因为缓冲区大小等。 问候Dheeraj Joshi

  • 尝试通过用数字替换重复字符来压缩字符串(例如,字符串将变成)。我试图使用链接哈希图来解决这个问题,因为需要保留输入顺序,但是我创建的计数器似乎没有正确地递增。任何见解都将不胜感激。

  • null 请解释这种行为? 是否有任何变通办法来反映基接口的方法从派生接口的类型?