本地Hadopop-Yarn设置上的火花提交，失败，Stdout路径必须是绝对错误

Question

我已经在我的Windows机器上安装了最新的Hadoop和Spark版本。我正在尝试启动提供的示例之一，但失败了，我不知道诊断是什么意思。它似乎与标准输出有关，但我找不到根本原因。

我启动以下命令：

spark-submit --master yarn --class org.apache.spark.examples.JavaSparkPi C:\spark-3.0.1-bin-hadoop3.2\examples\jars\spark-examples_2.12-3.0.1.jar 100

我的例外是：

21/01/25 10：53：53 WARN 指标系统：停止未运行的指标系统 21/01/25 10：53：53 INFO 输出提交协调器$输出提交坐标终结点：输出命令已停止！21/01/25 10：53：53 信息 Spark上下文：已成功停止 Spark上下文线程“主”组织.apache.spark.Spark异常：应用程序application_1611568137841_0002失败 2 次，因为 AM 容器appattempt_1611568137841_0002_000002退出，退出代码：-1 失败此尝试失败。诊断：[2021-01-25 10：53：53.381] Stdout 路径必须是绝对路径

有关更详细的输出，请查看应用程序跟踪页面：http://xxxx-PC:8088/cluster/app/application_1611568137841_0002 然后单击指向每次尝试的日志的链接。.应用程序失败。at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.waitForApplication（YarnClientSchedulerBack end.scala：95） at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start（YarnClientSchedulerBackend.scala：62） at org.apache.spark.scheduler.TaskSchedulerImpl.start（TaskSchedulerImpla.scala：201） at org.apache.spark.SparkContext.（SparkContext.scala：555） 在组织.apache.spark.spark.get 或创建（SparkContext.scala：2574） 在组织.apache.spark.sql.火花会议$Builder.$anonfun$getor创建$2（火花事件：934） 在 scala.Option.getOrElse（Option.scala：189） at org.apache.spark.html" target="_blank">sql.SparkSession$Builder.getOrCreate（SparkSession.scala：928） at org.apache.spark.examples.javaSparkPi.main（JavaSparkPi.java：37） at sun.reflect.native方法访问impssorImpl.invoke0（本机方法） 在太阳反射.本地方法访问.java：62） 在太阳反射.委派方法访问调用（委派方法.java：43） 在 java.lang.reflect.方法调用（方法.java：498） 在组织.apache.spark.deploy.javaIn应用程序启动（SparkAppache.scala：52） 在组织.apache.spark.deploy.sparksubmit.org$apache$sparksout$1 提交 $$runMain（SparkSubmit.scala：928） 在 org.apache.spark.deploy.sparksubmit.doRunMain$1（SparkSubmit.scala：180） 在组织 apache.spark.deploy.SparkSubmit.submit（SparkSubmit.scala：203） 在组织 apache.sparksubmit.doSubmit（SparkSubmit.scala：90） 在组织 apache.sparksubmit.app.sparksubmit.deploy.SparkSubmit.$anon$2.doSubmit（SparkSubmit.scala：1007） at org.apache.spark.deploy.SparkSubmit$.main（SparkSubmit.scala：1016） at org.apache.spark.deploy.SparkSubmit.main（SparkSubmit.scala） 21/01/25 10：53：53 INFO ShutdownHook管理器： 关闭挂钩调用 21/01/25 10：53：53 信息 关闭挂钩： 删除目录 C：\用户\xxx\AppData\local\Temp\spark-b28ecb32-5e3f-4d6a-973a-c03a7aae0da9 21/01/25 10：53：53 信息 关闭钩子：删除目录 C：\用户\xxx\AppData\Local\Temp\temp\火花-3665ba77-d2aa-424a-9f75-e772bb5b9104

至于诊断：

诊断：
应用程序application_1611562870926_0004失败2次，由于AM Container forappattempt_1611562870926_0004_000002退出exitCode：-1失败此attempt.Diagnostics：[2021-01-25 10:29:19.734]标准输出路径必须是绝对的。有关更详细的输出，请检查应用程序跟踪页面：超文本传输协议://****-PC： 8088/集群/应用程序/application_1611562870926_0004然后单击每次尝试日志的链接。.失败的应用程序。

谢谢你！

Answer 1

因此，我还不确定根本原因，这可能是由于我在Windows下运行并且某些默认属性对于Yarn是错误的。当我在纱线现场添加以下2个属性时.xml，它工作正常：

   <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/tmp</value>
   </property>
   <property>
    <name>yarn.log.dir</name>
    <value>/tmp</value>
   </property>

希望它能在未来帮助某人！