如果Spark.executor.instances和Spark.cores.max不工作，如何在Spark独立模式下增加执行器的数量
共有1个答案
我不认为您需要设置spark_worker_instances！如果您想要使用它，您需要设置spark_worker_cores环境变量，否则，您将最终导致一个worker消耗所有内核。因此，其他工人不能正确发射！
我还没有看到Spark.executor.instances在纱线配置之外使用Spark
也就是说，我绝对建议使用--num-executors让集群拥有多个工作人员！
-
我已经在我的本地安装了mesos，并按照mesos设置中提到的进行了配置。现在我想在本地机器上安装的mesos上运行spark。我已经根据官方文档配置了spark，并在我的本地机器上运行了单节点hadoop集群。Spark二进制包被复制到hdfs根目录，我已经在spark-env.sh中设置了以下属性： 是Spark-Defaults.conf：
-
如何确定spark独立群集模式上的工作线程数？在独立群集模式下添加工作线程时，持续时间将缩短。 例如，对于我的输入数据3.5 G，WordCount需要3.8分钟。但是，在我添加了一个内存为4 G的工作器后，需要2.6分钟。 增加调谐火花的工人可以吗？我正在考虑这方面的风险。 我的环境设置如下：， 内存128克，16个CPU，用于9个虚拟机 输入数据信息 HDFS中的3.5 G数据文件
-
当Spark应用程序提交到集群时，这些设置在上设置。
-
我使用spark-submit来运行一个作业，它有一些异常，它被阻塞了，所以我尝试使用来停止进程。 > 我想知道这个作业是否还在集群上运行？
-
抛出错误 到目前为止，我在Hadoop中只有start-dfs.sh，在Spark中并没有真正配置任何内容。我是否需要使用YARN集群管理器来运行Spark，以便Spark和Hadoop使用相同的集群管理器，从而可以访问HDFS文件？ 我尝试按照tutorialspoint https://www.tutorialspoint.com/Hadoop/hadoop_enviornment_setup
-
我正在以客户端部署模式的独立模式运行Apache Spark 2.1.1。我想为主服务器和所有工作人员禁用 Spark 网页 UI。 参考：https://spark.apache.org/docs/latest/configuration.html#spark-ui 和在$SPARK_HOME/conf/spark-defaults.conf中的以下配置使用： 然而，我仍然可以在默认端口8080