如何在运行在Yarn上的Spark应用程序中使用log4j将日志记录到本地文件系统中？

Question

我已经设置了log4.properties文件，以便它可以成功地写入本地文件系统上/tmp目录中的日志文件（如下部分所示）：

log4j.appender.file=org.apache.log4j.FileAppender
log4j.appender.file.File=/tmp/application.log
log4j.appender.file.append=false
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

当我使用以下命令在本地运行Spark应用程序时：

spark-submit --class myModule.myClass --master local[2] --deploy-mode client myApp.jar

它运行良好，我可以看到日志消息被写入本地文件系统的/tmp/application.log。

spark-submit --class myModule.myClass --master yarn-client  --name "myModule" --total-executor-cores 1 --executor-memory 1g myApp.jar

spark-submit --class myModule.myClass --master yarn-cluster  --name "myModule" --total-executor-cores 1 --executor-memory 1g myApp.jar

我错过了什么。

Answer 1

看起来您需要在启动任务/作业时追加JVM参数。

尝试按此处所述编辑conf/spark-defaults.conf

spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j.properties

spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j.properties

或者，尝试编辑conf/spark-env.sh以添加相同的JVM参数，尽管conf/spark-defaults.conf中的条目应该可以工作。

spark-submit --class sparky.MyApp --master spark://my.host.com:7077 --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j-executor.properties" myapp.jar

spark-submit ... --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j-executor.properties" ...