为什么火花提交失败的'spark.yarn.stagingDir'与主纱线和部署模式集群

Question

我在提供spark.yarn时遇到了一个场景。stagingDir（stagingDir）到spark submit（spark提交）开始失败，它没有给出任何关于根本原因的线索，我花了很长时间才弄清楚这是因为spark.yarn（spark.yarn）。stagingDir参数。为什么spark submit在supplyspark.yarn时失败。stagingDir此参数？

在此处查看相关问题以获取更多详细信息

失败的命令：

spark-submit \
--conf "spark.yarn.stagingDir=/xyz/warehouse/spark" \
--queue xyz \
--class com.xyz.TestJob \
--master yarn \
--deploy-mode cluster \
--conf "spark.local.dir=/xyz/warehouse/tmp" \
/xyzpath/java-test-1.0-SNAPSHOT.jar

当我移除火花线时。stagingDir，它开始工作：

spark-submit \
    --queue xyz \
    --class com.xyz.TestJob \
    --master yarn \
    --deploy-mode cluster \
    --conf "spark.local.dir=/xyz/warehouse/tmp" \
    /xyzpath/java-test-1.0-SNAPSHOT.jar

异常堆栈跟踪：

应用程序应用程序_1506717704791_145448在org.apache.spark.deploy.yarn.Client.run（Client.scala:1167）在org.apache.spark.deploy.yarn.Client$.main（Client.scala:1213）在org.apache.spark.deploy.yarn.Client.main（Client.scala）在sun.reflect.NativeMethodAccessorImpl上完成，状态为失败。sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）at sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）at java.lang.reflect.Method.invoke（Method.java:498）at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain（SparkSubmit.scala:738）

Answer 1

我在设置spark.yarn时遇到了完全相同的问题。stagingDir作为tmp（当我删除这个配置条目时，它工作得很好）。

我的解决方案是指定完整的HDFS路径，如hdfs://hdfs_server_name/tmp而不仅仅是tmp。希望它对你有用。