不能启动所有的火花工人

Question

SPARK_LOCAL_IP=127.0.0.1
SPARK_MASTER_HOST=127.0.0.1
SPARK_WORKER_INSTANCES=2
SPARK_WORKER_MEMORY=1000m
SPARK_WORKER_CORES=1

这是第二个显然未能启动的工人的日志：

Spark命令：/usr/lib/jvm/java-8-openjdk-amd64/bin/java-cp/media/ahmedn1/ahmedn12/Spark/conf/://media/ahmedn1/ahmedn12/Spark/jars/*

17/08/30 12:19:34信息工作者：启动进程名为:28819@Ahmedn1-Inspiron-5555
17/08/30 12:19:34信息信号alutils:注册的信号处理程序
17/08/30 12:19:34信息信号alutils:注册的信号处理程序用于HUP
17/08/30 12:19:34信息信号alutils:注册的信号处理程序用于INT
17/08/30 12:19:36信息安全管理器：将视图ACL更改为:Ahmedn1
17/08/30 12:19:36信息安全管理器：将修改ACL更改为:Ahmedn1
17/08/30 12:19:36信息安全:19:36 INFO SecurityManager：将查看ACL组更改为:
17/08/30 12:19:36 INFO SecurityManager：将修改ACL组更改为:
17/08/30 12:19:36 INFO SecurityManager：SecurityManager：身份验证禁用；ui ACL禁用；具有查看权限的用户:Set(ahmedn1)；具有查看权限的组：Set（）；具有修改权限的用户:Set(ahmedn1)；具有修改权限的组:Set()
17/08/30 12:19:37信息工作器：在端口46067上成功启动服务“Spark worker”
17/08/30 12:19:38信息工作器：启动Spark worker 127.0.0.1:46067有2个内核，1000.0MB RAM
17/08/30 12:19:38信息工作器：运行Spark版本2.2.0
17/08/30 12:19:38信息工作器：Spark Home://media/Ahmedn1/Ahmedn12/Spark
17/08/30 12:19:38信息外部ShufflesService：在端口7337上启动shuffle服务:19:38错误收件箱：忽略错误java.net.bindexception：地址已经在sun.nio.ch.net.bind（net.java:433)处sun.nio.ch.net.bind（net.java:425)处sun.nio.ch.serversocketchannelimpl.bind（serversocketchannelimpl.java:223)处io.netty.channel.socket.cannel.javin(niosserversocketchannel.dobind（niosserversocketchannel.java:127)处.netty.channel.DefaultChannelPipeline$HeadContext.bind（DefaultChannelPipeline.java:1218)在io.netty.channel.abstractChannelHandlerContext.invokeBind（AbstractChannelHandlerContext.java:496)在io.netty.channel.abstractChannelContext.bind（AbstractChannelHandlerContext.java:481)在io.netty.channel.defaultChannelPipeline.bind（DefaultChannelPipeline.java:965)在.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:399)在io.netty.channel.nio.nioEventLoop.run(NioEventLoop.java:446)在io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:131)在io.netty.util.concurrent.DefaultThreadFactor.run

所以，我发现问题出在地址绑定上，这可能与端口有关。但它不是应该自动选择一个自由端口吗？

Answer 1

因此，我注意到在尝试为第二个worker启动外部Shuffle服务后会发生异常。
在对源代码进行一些挖掘后，我发现每个集群应该运行一个Shuffle服务。

// With external shuffle service enabled, if we request to launch multiple workers on one host,
// we can only successfully launch the first worker and the rest fails, because with the port
// bound, we may launch no more than one external shuffle service on each host.
// When this happens, we should give explicit reason of failure instead of fail silently. For
// more detail see SPARK-20989.
val externalShuffleServiceEnabled = conf.getBoolean("spark.shuffle.service.enabled", false)
val sparkWorkerInstances = scala.sys.env.getOrElse("SPARK_WORKER_INSTANCES", "1").toInt
require(externalShuffleServiceEnabled == false || sparkWorkerInstances <= 1,
  "Starting multiple workers on one host is failed because we may launch no more than one " +
    "external shuffle service on each host, please set spark.shuffle.service.enabled to " +
    "false or set SPARK_WORKER_INSTANCES to 1 to resolve the conflict.")

因此，在我的情况下，我应该只有一个集群，或者使用以下命令关闭洗牌服务：

spark.dynamicAllocation.enabled false
spark.shuffle.service.enabled   false

当我这样做的时候，它解决了问题。