如何在Hadoop 2中更改用户日志的日志级别？

Question

我一直在尝试更改用户日志的日志级别，即出现在/var/log/hadoop-yarn/userlogs/application_下的文件

到目前为止我已经尝试过的事情：

• 在/etc/hadoop/conf/log4j中将所有记录器设置为跟踪级别。属性
• 设置mapreduce。地图日志级别和mapreduce。减少日志在mapred站点中设置级别。xml
• 设置mapreduce。地图日志级别和mapreduce。减少日志提交作业配置之前，在作业配置中设置级别
• 包括log4j。属性在我的作业jar文件中，该文件将根Log4j记录器设置为跟踪
• 修改纱线环境。sh指定纱线_根_记录器=跟踪，控制台

这些都不起作用——它们没有破坏任何东西，但它们对userlogs目录下的日志输出没有任何影响。改性纱线环境。sh确实导致ResourceManager和NodeManager日志进入跟踪级别。不幸的是，这些对我的目的没有用处。

我得到以下错误出现在/var/log/hadoop-yarn/userlogs/application_

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/lib/zookeeper/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/tmp/hadoop-yarn/nm-local-dir/usercache/tomcat/appcache/application_1419961570089_0001/filecache/10/job.jar/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
log4j:WARN No appenders could be found for logger (org.apache.hadoop.ipc.Server).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

我不明白为什么会出现log4j“无配置”消息，因为存在log4j。属性作业jar文件根目录下的文件，该文件指定了根记录器：

log4j.rootLogger=TRACE, stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p [%t] %m%n

我的代码没有故意使用SLF4J进行日志记录，它纯粹使用Log4j。




Answer 1

您应该尝试编辑（或创建，如果它不存在）： /etc/hadoop/conf/container-log4j.properties.

您可以通过一个简单的ps aux：命令行包括-Dlog4j。配置=container-log4j。属性。

Answer 2

关于CDH5。8.我在提交作业时覆盖了应用程序日志级别。为了修改映射器和还原器的日志级别，我必须使用如下命令明确指定它们：

Hadoop jarmy-mapreduce-job.jar-libjars${LIBJARS}-Dyarn.app.mapreduce.am.log.level=DEBUG，控制台-Dmapreduce.map.log.level=DEBUG，控制台-Dmapreduce.reduce.log.level=DEBUG，控制台

日志被写入应用程序的系统日志，可以使用Yarn ResourceManager WebUI浏览该系统日志。

Answer 3

实际的答案是设置纱线。应用程序。mapreduce。是日志level设置为您需要的级别，但至关重要的是，它需要在提交时在Hadoop作业配置中设置。不能在群集上全局设置。由于是硬编码的，群集全局将始终默认为INFO。

使用container-log4j。属性本身不起作用，因为纱线会覆盖命令行上的日志级别值。参见org的方法addLog4jSystemProperties。阿帕奇。hadoop。mapreduce。v2。util。MRApps和与组织的交叉引用。阿帕奇。hadoop。mapreduce。MRJobConfig。

container-log4j.properties确实会被遵守，但它不能覆盖此属性设置的级别。