运行spark-submit with--master yarn-cluster：issue with spark-assembly
我正在kerberized集群上运行Spark1.1.0、HDP2.1。我可以使用--master yarn-client成功地运行spark-submit，并且结果被正确地写入HDFS，但是，该工作没有显示在Hadoop All Applications页面上。我想使用--master yarn-cluster运行spark-submit,但仍然会出现以下错误：
appDiagnostics: Application application_1417686359838_0012 failed 2 times due to AM Container
for appattempt_1417686359838_0012_000002 exited with exitCode: -1000 due to: File does not
exist: hdfs://<HOST>/user/<username>/.sparkStaging/application_<numbers>_<more numbers>/spark-assembly-1.1.0-hadoop2.4.0.jar
.Failing this attempt.. Failing the application.
我已经为我的帐户提供了对集群的访问权限。我已经配置了yarn-site.xml。我已经清除了。闪亮的舞台。我尝试过包含--jars[path to my spark assembly in spark/lib]。我发现这个问题非常相似，但没有答案。我不知道这是2.1问题，spark 1.1.0，kerberized集群，配置，还是什么问题。任何帮助都将不胜感激。
共有1个答案
这可能是因为您在代码中留下了sparkconf.setmaster（“local[n]”）。
-
安装Spark独立模式集群 安装Spark独立模式，你只需要将Spark的编译版本简单的放到集群的每个节点。你可以获得每个稳定版本的预编译版本，也可以自己编译。 手动启动集群 你能够通过下面的方式启动独立的master服务器。 ./sbin/start-master.sh 一旦启动，master将会为自己打印出spark://HOST:PORT URL，你能够用它连接到workers或者作为"m
-
我已经安装了火花图表在我的k8s集群掌舵，我有3个豆荚运行1个主和2个执行，但仍然能够提交火花作业...在“提交应用程序”一节https://github.com/bitnami/charts/tree/master/bitnami/spark中提到我们可以使用。/bin/spark-submit--class org.apache.spark.examples.sparkpi--master s
-
配置 大部分为Spark on YARN模式提供的配置与其它部署模式提供的配置相同。下面这些是为Spark on YARN模式提供的配置。 Spark属性 Property Name Default Meaning spark.yarn.applicationMaster.waitTries 10 ApplicationMaster等待Spark master的次数以及SparkContext初始
-
基于Mesos运行Spark 背景介绍 Spark有多种集群运行模式，例如：Standalone,Yarn,Mesos。 下面就说一下如何在Mesos上运行Spark，这也是官方推荐的一种运行方式。 在运行Spark之前咱们先简略介绍一下Mesos。 Mesos计算框架是一个集群管理器，提供了有效的、跨分布式的应用或框架的资源隔离和共享，可以运行Ha
-
我试图运行火花作业，基本上加载数据在卡桑德拉表。但它也产生了以下错误。
-
我是Spark的新手。我有一个应用程序，通过调用spark shell来运行每个spark sql查询。因此，它将生成一组如下所示的查询，并调用spark shell命令逐个处理这些查询。 Val Query=spark.sql（""SELECT userid as userid，评级为评级，电影为电影从default.movie表""）； 现在我想用spark submit而不是spark sh