SparkException：Master删除了我们的应用

Question

我知道Stackoverflow上还有其他非常类似的问题，但这些问题要么没有得到回答，要么没有帮助我解决。与这些问题相反，我在这个问题中添加了更多的堆栈、跟踪和日志文件信息。我希望这能有所帮助，尽管这让问题变得有点冗长和丑陋。对不起.

我正在Amazon EC2上使用m3.xlarege实例运行一个9节点集群，并安装了DSE（DataStax Enterprise）版本4.6。对于每个工作负载(Cassandra、Search和Analytics）使用3个节点。DSE 4.6包Spark 1.1和Cassandra 2.0。

即使我不运行任何查询，应用程序（spark/shark-shell）也会在大约3分钟后删除。对小型html" target="_blank">数据集的查询只要在3分钟内完成就会成功运行。

15/08/25 14:58:09 ERROR cluster.SparkDeploySchedulerBackend: Application has been killed. Reason: Master removed our application: FAILED
org.apache.spark.SparkException: Job aborted due to stage failure: Master removed our application: FAILED
    at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1185)
    at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1174)
    at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1173)
    at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
    at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)
    at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1173)
    at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:688)
    at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:688)
    at scala.Option.foreach(Option.scala:236)
    at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:688)
    at org.apache.spark.scheduler.DAGSchedulerEventProcessActor$$anonfun$receive$2.applyOrElse(DAGScheduler.scala:1391)
    at akka.actor.ActorCell.receiveMessage(ActorCell.scala:498)
    at akka.actor.ActorCell.invoke(ActorCell.scala:456)
    at akka.dispatch.Mailbox.processMailbox(Mailbox.scala:237)
    at akka.dispatch.Mailbox.run(Mailbox.scala:219)
    at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:386)
    at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
    at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)
    at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
    at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)
FAILED: Execution Error, return code -101 from shark.execution.SparkTask

在master.log中，我认为interesing部分是

INFO 2015-08-25 09:19:59 org.apache.spark.deploy.master.DseSparkMaster: akka.tcp://sparkWorker@172.31.46.48:46715 got disassociated, removing it.
INFO 2015-08-25 09:19:59 org.apache.spark.deploy.master.DseSparkMaster: akka.tcp://sparkWorker@172.31.33.35:42136 got disassociated, removing it.

和

ERROR 2015-08-25 09:21:01 org.apache.spark.deploy.master.DseSparkMaster: Application Shark::ip-172-31-46-49 with ID app-20150825091745-0007 failed 10 times, removing it
INFO 2015-08-25 09:21:01 org.apache.spark.deploy.master.DseSparkMaster: Removing app app-20150825091745-0007

为什么工作节点被取消关联？

null

工人二

• worker.log
• 执行器(ID3)stdout
• 执行人(ID3)stderr

执行器转储似乎表明了权限和/或超时的一些问题。但从垃圾堆里我找不出任何细节。

null

编辑（2）：我可以通过用三个新安装的Analytics节点替换Analytics节点来解决上面描述的问题。我现在可以在更大的数据集上运行查询，而无需删除shell。我不打算把这作为问题的答案，因为它仍然不清楚三个原始分析节点的问题。但是，由于它是一个用于测试的集群，所以可以简单地替换节点（在替换节点之后，我对每个新节点执行nodeTool重建--Cassandra，以便从Cassandra数据中心恢复它们的数据）。

Answer 1

正如在尝试中提到的，根本原因是主节点和一个或多个工作节点之间的超时。

还要尝试的另一件事是：验证是否可以通过主机名从主机访问所有工作人员，无论是通过dns还是通过/etc/hosts文件中的一个条目。

在我的例子中，问题是集群运行在一个没有DNS的AWS子网中。随着时间的推移，集群通过旋转一个节点来增长，并将该节点添加到集群中。在构建主程序时，只知道集群中地址的一个子集，并且只有该子集被添加到/etc/hosts文件中。当dse spark从一个“新”节点运行时，主程序使用工作程序的主机名进行通信失败，主程序终止作业。