SPARK_EXECUTOR_INSTANCES不在SPARK SHELL、YARN客户端模式下工作
我是Spark的新手。
spark_executor_instances=3
spark_executor_cores=1
spark_driver_memory=2g
我还通过Spark-Web UI确认了它只有一个执行器，并且只有主节点(Yarn resource manager node)上的执行器。
INFO yarn.client：启动Spark应用程序的命令master:List($java_home/bin/java,-server,-xmx2048m,-djava.io.tmpdir=$pwd/tmp,-dspark.tachyonstore.foldername=\“spark-FC6383cc-0904-4af9-8abd-3b66b3f0f461\”,-dspark.yarn.secondary.jars=\“\”,-dspark.home=\“/home/impadmin/spark-1.0.2-bin-hadoop2\”,-dspark.repl.class.uri=\“http://master_node:46 823\”,-dspark.driver.host=\“master_node\”,-dspark.app.name=\“Spark shell\”,-dspark.jars=\“\”,-dspark.fileserver.uri=\“http://master_node:46267\”,-dspark.master=\“yar-client\”,-dspark.driver.port=\“41209\”,-dspark.httpbroadcast.uri=\“http://master_node:36965\”,-dlog4j.configuration=log4j-spark-container.properties,org.html" target="_blank">apache.Spark.deploy.yarn.ExecutorLauncher,--class,notused,--jar,null,--args'master_node:41209',--executor-memory,1024,--executor-cores,1,--num-executors,3,1>,/stdout,2>,/stderr)
...
...
...
14/09/10 22:21:24 INFO cluster.YarnClientSchedulerBackend: Registered executor:
ID为1的执行元[akka.tcp://sparkexecutor@master_node:53619/user/executor#1075999905]14/09/10 22:21:24信息存储。BlockManagerInfo：正在注册块管理器master_node:40205和589.2 MB RAM 14/09/10 22:21:25信息集群。YarnClientClusterScheduler：YarnClientClusterScheduler.PostStarthook已完成14/09/10 22:21:25信息回复。SparkIop:已创建火花上下文。Spark上下文可作为sc使用。
并且在运行任何并行量的spark操作之后，它只在这个节点上连续运行所有这些任务！！
共有1个答案
好吧，我是这样解决的。我的集群上有4个数据节点
火花-外壳-数量-执行器4-主纱-客户
-
我有一个JBoss应用程序，需要与HBase服务器远程交谈。当使用simple console项目时，HBase客户机工作得很好，但是当部署在JBoss服务器中时，看起来服务器没有加载类org.apache.hadoop.hdfs.web.resources.UserProvider。有人能帮忙解决问题吗？？ jar common-configuration-1.6.jar common-lang
-
我有我的主人的地址硬编码到我的应用程序在表单 但我得到的只是错误 或者如果我使用
-
我有一个有多个模块的Quarkus项目。 在公共模块中，我添加了以下依赖项（遵循本指南 https://quarkus.io/guides/rest-client）。 子模块将公共模块作为依赖项。 以及我在子模块中使用的代码片段。 并从另一个ApplicationScoped类调用它： 当在纯模式下运行应用程序时，它会抛出。 我偶然发现了这个（https://quarkus.io/guides/l
-
我有一个wsdl： 我想提交信息以获得回应。我创建了client.php如下： 但它在浏览器中显示错误： SoapFault对象（[消息：受保护]= 我错在哪里？对此，可能的解决方案是什么？ 编辑： 我已经创建了一个php文件：client。php 但它产生了这个错误： 调用错误：响应不是文本/xml类型：应用程序/wsdl xmlHTTP/1.1 200确定日期：星期二，9月17日2013 15
-
问题内容： 到现在为止，我主要是利用，，用于构建Web应用程序技术堆栈。关键是，提到的堆栈使用服务器端模式。Web浏览器的主要作用仅限于请求/响应周期（+客户端验证）。数据检索，业务逻辑，接线和验证是服务器端的主要职责。 我对 AngularJS 框架有几个疑问，这些疑问是由我阅读过以下引号引起的： 从 AngularJS教程中 ： 对于Angular应用，我们鼓励使用Model-View-Con
-
关于AngularJS框架，我有几个问题是从我读到的以下引用中得到启发的： 从AngularJS教程： 对于有角度的应用程序，我们鼓励使用Model-View-Controller(MVC)设计模式来解耦代码并分离关注点。 我知道我的问题有些奇怪，但我认为原因是，我对传统的服务器端MVC模式有些敏感。我确信有人已经做了同样的转变。