spark独立集群从机无法将从机连接到主机
16/02/22 07:49:16 INFO Worker: Connecting to master 192.168.0.208:7077...
16/02/22 07:49:16 WARN Worker: Failed to connect to master 192.168.0.208:7077
java.io.IOException: Failed to connect to /192.168.0.208:7077
at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:216)
at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:167)
at org.apache.spark.rpc.netty.NettyRpcEnv.createClient(NettyRpcEnv.scala:200)
at org.apache.spark.rpc.netty.Outbox$$anon$1.call(Outbox.scala:187)
at org.apache.spark.rpc.netty.Outbox$$anon$1.call(Outbox.scala:183)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.net.ConnectException: Connection refused: /192.168.0.208:7077
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:740)
at io.netty.channel.socket.nio.NioSocketChannel.doFinishConnect(NioSocketChannel.java:224)
at io.netty.channel.nio.AbstractNioChannel$AbstractNioUnsafe.finishConnect(AbstractNioChannel.java:289)
at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:528)
at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468)
at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382)
at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354)
at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111)
... 1 more
共有1个答案
确保每个主程序和辅助程序都有防火墙异常，以允许所有其他辅助程序和主程序的连接。
下面是我们的一台主机(master0)的一个简化示例：
$iptables -L
...
ACCEPT all -- worker0.company.com master0.company.com
ACCEPT all -- worker1.company.com master0.company.com
ACCEPT all -- master1.company.com master0.company.com
...
当然，您也可以使用IPs来代替主机名。
-
我正试图按照官方文档设置一个Spark独立集群。 我的主人在一个运行ubuntu的本地vm上，我也有一个工作人员在同一台机器上运行。它是连接的，我能够在大师的WebUI中看到它的地位。 以下是WebUi图像- 我已经在两台机器上的/etc/hosts中添加了主IP地址和从IP地址。我遵循了SPARK+独立集群中给出的所有解决方案：无法从另一台机器启动worker，但它们对我不起作用。 我在两台机器
-
工人出现在图片上。为了运行我的代码，我使用了以下命令：
-
厘斯7.8 docker run -d -p 8080：80 --name nginxtest nginx docker ps CONTAINER ID Image PORTS NAMES xxxxxxxx nginx 0.0.0.0：8080- curl localhost:8080 < br > curl:(56)Recv失败:连接被对等方重置 netstat-tulpn＜br＞tcp6 0
-
我可以确认使用spark shell连接到仪表盘，例如。 作品 但是 没有并给出错误
-
Master：运行Ubuntu14.10Docker(1.9)运行Jenkins映像的Azure VM我在Azure VM上添加了端口8080（用于UI）和50000（用于从机）作为endpoint。 从：Windows 10（通过BootCamp在Mac上运行）将防火墙配置为允许端口50000上的入站和出站流量（从jnlp似乎正在使用这个端口）。 我可以通过网络访问我的詹金斯大师安装。我正试图在
-
我们有一个Hadoop集群，运行在带有Spark 1.6.1的AWS弹性MapReduce(EMR)中。进入集群主机并提交Spark作业没有问题，但我们希望能够从另一个独立的EC2实例提交它们。 另一个“外部”EC2实例设置了安全组，以允许所有TCP流量进出EMR实例主从实例。它有一个直接从Apache网站下载的Spark的二进制安装。 我不知道是怎么回事。非常感谢您的任何帮助。