如果未启动SparkContext，则群集模式下的Spark将引发错误

Question

我有一个Spark作业，仅在确实必要时才初始化Spark上下文：

val conf = new SparkConf()
val jobs: List[Job] = ??? //get some jobs
if(jobs.nonEmpty) {
  val sc = new SparkContext(conf)
  sc.parallelize(jobs).foreach(....)
} else {
    //do nothing
}

如果部署模式是“客户端”，它在纱线上工作得很好

spark-submit --master yarn --deploy-mode client

然后我将部署模式切换到“集群”，它在作业的情况下开始崩溃。isEmpty

spark-submit --master yarn --deploy-mode cluster

下面是错误文本：

信息纱线。客户：申请的申请报告_1509613523426_0017（州：已接受）17/11/02 11:37:17

信息纱线。客户：申请的申请报告_1509613523426_0017（状态：失败）17/11/02 11:37:17

INFO纱线。客户端：客户端令牌：不适用诊断：应用程序application_1509613523426_0017失败2次，原因是AM容器appattempt_1509613523426_0017_000002退出exitCode：-1000有关更详细的输出，请检查应用程序跟踪

Page：http://xxxxxx.com:8088/cluster/app/application_1509613523426_0017Then，点击每个尝试日志的链接。诊断：文件不存在：hdfs：//xxxxxxx/. SPARKSTING/application_1509613523426_0017/__spark_libs__997458388067724499.zipjava.io.FileNotFoundExc0019：文件不存在：hdfs：//xxxxxxx/. SPARKSTING/application_1509613523426_0017/__spark_libs__997458388067724499.ziporg.apache.hadoop.hdfs.分布式文件系统$22.do调用（分布式文件ystem.java:1309）org.apache.hadoop.hdfs.分布式文件系统22.do调用（分布式文件ystem.java:1301）org.apache.hadoop.fs.FileSystemLinkResolver.resolve（FileSystemLinkResolver.java:81）org.apache.hadoop.hdfs.分布式文件ystem.get文件状态（分布式文件ystem.java:1301）在org.apache.hadoop.yarn.util.FSDownload.copy（FSDownload.java:253）在org.apache.hadoop.yarn.util.FSDowload。在org. apache. hadoop. yarn. util.上运行（FSDowload. java： 361）。在java. security上运行（FSDown load. java： 359）。AccessController. doPrivileged（本地方法）在javax. security. auth。主题. doAs（主题. java： 422）在org. apache. hadoop. security。UserGroupInformation. doAs（UserGroupInformation. java： 1698）at org. apache. hadoop. yarn. util.fsdowload. call（fsdowload. java： 358）at org. apache. hadoop. yarn. util。在java. util. con当前调用（FSDowload. java： 62）。FutureWork. run（FutureTasks. java： 266）at java. util. con当前。执行器$RunnableAdapter. call（Executors. java： 511）在java. util. con当前。FutureWork. run（FutureTasks. java： 266）at java. util. con当前。ThreadPoolExecutor. runWorker（ThreadPoolExecutor. java： 1142）在java. util. con当前。在java. lang上运行（ThreadPoolExecator. java： 617）。线程.运行（线程. java： 748）

这次尝试失败了。应用程序失败。ApplicationMaster主机：不适用ApplicationMaster RPC端口：-1队列：开发人员启动时间：1509622629354最终状态：跟踪URL失败：http://xxxxxx.com:8088/cluster/app/application_1509613523426_0017用户：线程“主”组织中的xxx异常。阿帕奇。火花SparkException:Application_1509613523426_0017在组织中以失败状态完成。阿帕奇。火花部署纱线客户在org上运行（Client.scala:1104）。阿帕奇。火花部署纱线客户美元。main（Client.scala:1150）位于org。阿帕奇。火花部署纱线客户sun上的main（Client.scala）。反映NativeMethodAccessorImpl。在sun上调用0（本机方法）。反映NativeMethodAccessorImpl。在sun上调用（NativeMethodAccessorImpl.java:62）。反映DelegatingMethodAccessorImpl。在java上调用（DelegatingMethodAccessorImpl.java:43）。朗。反思。方法在org调用（Method.java:498）。阿帕奇。火花部署SparkSubmit$。org$apache$spark$deploy$SparkSubmit$$runMain（SparkSubmit.scala:755）位于org。阿帕奇。火花部署SparkSubmit$。doRunMain$1（SparkSubmit.scala:180）位于org。阿帕奇。火花部署SparkSubmit$。在org上提交（SparkSubmit.scala:205）。阿帕奇。火花部署SparkSubmit$。main（SparkSubmit.scala:119）位于org。阿帕奇。火花部署SparkSubmit。main（SparkSubmit.scala）17/11/0211:37:17信息工具。ShutdownHookManager:shutdownhook称为17/11/02 11:37:17 INFO util。ShutdowHookManager:删除目录/tmp/spark-a5b20def-0218-4b0c-b9f8-fdf8a1802e95

是纱线支持中的错误还是我错过了什么？

Answer 1

SparkContext负责与群集管理器通信。如果应用程序已提交到集群，但从未创建上下文，则Thread无法确定应用程序的状态-这就是为什么会出现错误。