尝试在带有公共IP的EC2节点上启动Spark master时获取java.net.BindException

Question

我正在尝试为EC2节点上的独立集群启动一个Spark主程序。我使用的CLI命令如下所示：

java_home=<我的JDK安装位置>\java-cp /sbin/../conf/: /lib/spark-assembly-1.4.0-hadoop2.6.0.jar: /lib/datanucleus-core-3.2.10.jar: /lib/datanucleus-api-jdo-3.2.6.jar:

注意，我指定了--host参数；我希望我的Spark master正在监听一个特定的IP地址。我指定的主机（即54.xx.xx.xx)是我的EC2节点的公共IP；我已经确认没有其他东西在监听端口7077，并且我的EC2安全组已经打开了所有端口。我也仔细检查了公共IP是否正确。

当我使用--host54.xx.xx.xx时，我会得到以下错误消息：

15/07/27 17:04:09错误NettyTransport：未能绑定到/54.xx.xx.xx:7093，正在关闭线程“main”java.net.BindException：未能绑定到：/54.xx.xx.xx:7093:服务“Spark Master”重试16次后失败！在org.jboss.netty.bootstrap.serverbootstrap.bind(serverbootstrap.java:272)在akka.remote.transport.netty.nettytransport$$anonfun$listin$1在akka.remote.transport.netty.nettytransport$$anonfun$listin$1在apply(nettytransport.scala:393)在scala.util.success$$anonfun$listin$1在apply(nettytransport.scala:389)fun$map$1.在scala.concurrent.future$$anonfun$map$1.在scala.concurrent.impl.callbackrunnable.run（promere.scala:235)在scala.concurrent.impl.callbackrunnable.run（promere.scala:32)在akka.dispatch.batchingexecutor$batch$$anonfun$run$1.processbatch$1(Batchingexecutor.scala:67)在）在acka.dispatch.batchingexecutor$batch$$anonfun$run$1.apply(batchingexecutor.scala:59)在scala.concurrent.blockcontext$.WithBlockContext(blockContext.scala:72)在Akka.dispatch.batchingExecutor$batch.run（BatchingExecutor.scala:58)在Akka.dispatch.taskInvocation.run（AbstractDispatcher.scala:41)在Akka.dispatch.forkJoinExecutorConfigurator$AkkaForkJoinAsk.exec（AbstractDispatch.scala:393)在joinpool.runworker(forkjoinpool.java:1979)位于scala.concurrent.forkjoin.forkjoinworkerthread.run(forkjoinworkerthread.java:107)

如果省略--host参数就不会出现这种情况，如果使用--host 10.0.xx.xx也不会出现这种情况，其中10.0.xx.xx是我的专用EC2 IP地址。

为什么Spark无法绑定到公共EC2地址？




Answer 1

我在使用Oracle云实例时遇到了同样的问题。我的私有IP类似于10.x.x.2，我的公共IP类似于140.x.x.238。

以下是您可以遵循的一些步骤：

>

检查您的专用IP地址

ens3: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 9000
        inet 10.x.x.2  netmask 255.255.255.0  broadcast 10.0.0.255
        inet6 fe80::17ff:fe00:7cf9  prefixlen 64  scopeid 0x20<link>
        ether 02:00:17:00:7c:f9  txqueuelen 1000  (Ethernet)
        RX packets 146457  bytes 61901565 (61.9 MB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 142865  bytes 103614447 (103.6 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

SPARK_LOCAL_IP=127.0.0.1
SPARK_MASTER_IP=YOUR_HOST_NAME