Spark连接失败Spark job总是连接失败（CDH 5.5.2，Spark 1.5.0）

Question

我们在使用新安装的CDH 5.5.2群集的spark standalone群集时经常遇到错误。我们有7个工作节点，每个节点有16 GB内存。但是，几乎所有连接都失败了。

我已经确保我分配了完整的内存与执行器内存，并确保它已经分配了这么多的内存，并通过验证它在火花UI。

我们的大多数错误如下。我们已经检查了我们这边的情况。但我们的解决方案都没有奏效。

Caused by: java.io.FileNotFoundException: /tmp/spark-b9e69c8d-153b-4c4b-88b1-ac779c060de5/executor-44e88b75-5e79-4d96-b507-ddabcab30e1b/blockmgr-cd27625c-8716-49ac-903d-9d5c36cf2622/29/shuffle_1_66_0.index (Permission denied)
at java.io.FileInputStream.open(Native Method)
at java.io.FileInputStream.<init>(FileInputStream.java:146)
at org.apache.spark.network.shuffle.ExternalShuffleBlockResolver.getSortBasedShuffleBlockData(ExternalShuffleBlockResolver.java:275)
... 27 more
at org.apache.spark.network.client.TransportResponseHandler.handle(TransportResponseHandler.java:162)
at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:103)
at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:51)
at io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at io.netty.handler.timeout.IdleStateHandler.channelRead(IdleStateHandler.java:266)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:103)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at io.netty.handler.codec.ByteToMessageDecoder.channelRead(ByteToMessageDecoder.java:244)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:846)
at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:131)
at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511)
at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468)
at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382)
at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354)
at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111)
... 1 more

>

/tmp有777个权限，但它仍然告诉as/tmp没有权限。

我们已将SPARK\u LOCAL\u DIRS配置到其他一些具有更好磁盘内存的文件夹，但集群仍在使用/tmp，为什么。？我们通过Cloudera manager进行了更改，并打印了spark。地方的spark中spark配置中的dirs，它提供了我们设置的文件夹。但是，当涉及到执行时，它是另一种方式。它正在检查/tmp中的文件。我们这里有什么遗漏吗。？

我们已关闭火花纱，纱的任何配置是否独立影响？

有人遇到过这个问题吗？为什么这种情况会反复出现在我们身上？我们与horton works有类似的集群，我们在其中安装了裸机火花（这不是分发的一部分），运行得非常好。但是，在我们的新集群中，我们正面临着这个问题。也许我们可能错过了一些东西。？但很想知道我们错过了什么。

Answer 1

这是我的工作

在所有节点上

sudo chmod-R 0777/tmp sudo chmod t/tmp

使用并行ssh

sudo并行ssh-h主机。txt-l ubuntu--超时=0“sudo chmod-R 0777/tmp”

sudo并行ssh-h主机。txt-l ubuntu--超时=0“sudo chmod t/tmp”

Answer 2

我解决了在cloudera manager上禁用此属性的问题：

spark.shuffle.service.enabled

spark.dynamicllocation.enabled

真实-