火花对纱罐上传问题的影响

Question

我正在尝试使用spark over Thread（CentOS上的Cloudera Hadoop 5.2）运行一个简单的Map/Reduce java程序。我试过两种不同的方法。第一种方法是：

YARN_CONF_DIR=/usr/lib/hadoop-yarn/etc/hadoop/; 
/var/tmp/spark/spark-1.4.0-bin-hadoop2.4/bin/spark-submit --class MRContainer --master yarn-cluster --jars /var/tmp/spark/spark-1.4.0-bin-hadoop2.4/lib/spark-assembly-1.4.0-hadoop2.4.0.jar  simplemr.jar

此方法会产生以下错误：

诊断：应用程序application_1434177111261_0007失败2次，原因是appattempt_1434177111261的AM容器_0007_000002退出exitCode：-1000原因：资源hdfs://kc1ltcld29： 9000/user/myuser/。/>在src文件系统上更改（预期1434549639128，1434549642191

然后我试着不带--罐子：

YARN_CONF_DIR=/usr/lib/hadoop-yarn/etc/hadoop/; 
/var/tmp/spark/spark-1.4.0-bin-hadoop2.4/bin/spark-submit --class MRContainer --master yarn-cluster simplemr.jar

诊断：应用程序application_1434177111261_0008失败2次，由于AM容器appattempt_1434177111261_0008_000002退出exitCode：-1000由于：文件不存在：hdfs：//kc1ltcld29:9000/user/myuser/。这次尝试失败了...申请失败。Application ationMaster主机： N/A Application ationMaster RPC端口：-1队列：root.myuser开始时间： 1434549879649最终状态：失败跟踪URL：超文本传输协议：//kc1ltcld29:8088/集群/应用程序/application_1434177111261_0008用户： myuser异常在线程"main"org.apache.spark.Spark异常：应用程序application_1434177111261_0008完成org.apache.spark.deploy.yarn.Client.run（Client.scala:841）在org.apache.spark.deploy.yarn.客户端$. main（Client.scala:867）在org.apache.spark.deploy.yarn.Client.main（Client.scala）在sun.reflect.NativeMEDAccessorImpl.invoke0（本地方法）在sun.reflect.NativeMEDAccessorImpl.invoke（NativeMEDAccessorImpl.java:57）在sun.reflect.委托方法mpl.invoke（委托方法mpl.java:43）在java.lang.reflect.方法调用（方法. java： 601）在org. apache. Spark.部署。SparkSubmit$. org$apache$SparkSubmit$$runMain（SparkSubmit. scala： 664），网址为org. apache. Spark.部署。SparkSubmit$. doRunMain 1美元（SparkSubmit. scala： 169）在org. apache. Spark.部署。SparkSubmit$。提交（SparkSubmit. scala： 192）在org. apache. Spark.部署。SparkSubmit$. main（SparkSubmit. scala： 111）在org. apache. Spark.部署。SparkSubmit. main（SparkSubmit. scala）15/06/17 10:04:57 INFO util.Utils：停机钩子称为15/06/17 10:04:57 INFO util.删除目录 /tmp/spark-2aca3f35-abf1-4e21-a10e-4778a039d0f4

我试着删除所有的文件。来自hdfs://users//.sparkStaging并重新提交，但这没有帮助。

Answer 1

如果您遇到此错误，则表示您正在使用--jars选项上载程序集jar，或手动复制到每个节点中的hdfs。我采用了这种方法，它对我很有效。

在yarn集群模式下，Spark提交会自动将程序集jar上传到分布式缓存中，所有执行器容器都从该缓存中读取，因此无需手动将程序集jar复制到所有节点（或通过--jars）。在HDFS中，似乎有两个版本的同一jar。

试着把你家里所有的旧罐子都拿走。sparkStaging目录并重试，它应该可以工作。

Answer 2

通过复制火花组件解决了该问题。将jar放入hdfs上每个节点的目录中，然后将其传递给spark submit--conf spark。纱线jar作为参数。命令如下所示：

hdfs dfs -copyFromLocal /var/tmp/spark/spark-1.4.0-bin-hadoop2.4/lib/spark-assembly-1.4.0-hadoop2.4.0.jar /user/spark/spark-assembly.jar 

/var/tmp/spark/spark-1.4.0-bin-hadoop2.4/bin/spark-submit --class MRContainer --master yarn-cluster  --conf spark.yarn.jar=hdfs:///user/spark/spark-assembly.jar simplemr.jar