spark独立集群：如何限制工作人员的数量？
>
提交应用程序未设置spark.executor.cores，然后它将创建
1名16芯工人
使用spark.executor.cores=15提交，然后它将创建一个包含15个核心的worker
共有1个答案
请检查这个问题。我想也是类似的问题:https://stackoverflow.com/a/39400195/7779865
我认为您可以尝试设置spark.executor.cores=5和spark.cores.max=5，或者使用spark.deploy.defaultcores=5而不是spark.cores.max
在这里阅读spark.max.cores
-
工人出现在图片上。为了运行我的代码，我使用了以下命令：
-
如何确定spark独立群集模式上的工作线程数？在独立群集模式下添加工作线程时，持续时间将缩短。 例如，对于我的输入数据3.5 G，WordCount需要3.8分钟。但是，在我添加了一个内存为4 G的工作器后，需要2.6分钟。 增加调谐火花的工人可以吗？我正在考虑这方面的风险。 我的环境设置如下：， 内存128克，16个CPU，用于9个虚拟机 输入数据信息 HDFS中的3.5 G数据文件
-
应用程序不是那么占用内存，有两个连接和写数据集到目录。同样的代码在spark-shell上运行没有任何失败。 寻找群集调优或任何配置设置，这将减少执行器被杀死。
-
我有一个向spark独立单节点集群提交spark作业的maven scala应用程序。提交作业时，Spark应用程序尝试使用spark-cassandra-connector访问Amazon EC2实例上托管的cassandra。连接已建立，但不返回结果。一段时间后连接器断开。如果我在本地模式下运行spark，它工作得很好。我试图创建简单的应用程序，代码如下所示： SparkContext.Sca
-
/usr/local/spark-1.2.1-bin-hadoop2.4/bin/--类com.fst.firststep.aggregator.firststepmessageProcessor--主spark://ec2-xx-xx-xx-xx.compute-1.amazonaws.com:7077--部署模式集群--监督文件：///home/xyz/sparkstreaming-0.0.1
-
我正在考虑创建一个独立的Kafka生产者，它作为守护进程运行，通过套接字接收消息，并将其可靠地发送给Kafka。 但是，我决不能是第一个想到这个想法的人。这样做的目的是避免使用PHP或Node编写Kafka生成器，而只是通过套接字将消息从这些语言传递到独立的守护进程，这些语言负责传递，而主应用程序则一直在做自己的事情。 此守护进程应负责在发生中断时进行重试传递，并充当服务器上运行的所有程序的传递点