在hadoop中控制日志功能

Question

如何控制hadoop中的日志功能？Hadoop使用默认的log4j.properties文件来控制日志。我的用例是控制我的类生成的日志。

Hadoop守护进程（如JobTracker、TaskTracker、NameNode和DataNode守护进程）使用log4j。属性文件来自各自主机节点的hadoop conf目录。rootLogger设置为“INFO，console”，它将所有信息级别的消息记录到控制台。

我使用Oozie Workflow触发hadoop作业。我尝试通过设置-Dlog4j.configuration=path/to/log4j.properties系统属性将自定义log4j.properties文件传递给作业，但它不起作用。尽管如此，它还是从默认属性中获取log4j属性。

我不应该碰默认的log4j。属性文件。

我用的是Oozie-v3。1.3-孵化，hadoop-v0。20和cloudera CDH-v4。0.1.

如何覆盖默认的log4j。属性文件？？或者我如何控制我的类的日志？？

Answer 1

你想用自己的Log4J文件具体实现什么？我这样问是因为日志分布在集群中，但是通过将它们记录到rootLogger，您应该能够通过作业跟踪器（通过深入查看作业任务尝试）看到它们。

如果你想使用滚动文件，那么你以后很难检索这些文件（同样是因为它们分布在你的任务节点上）。

如果要动态设置日志级别，这应该足够简单：

public static Logger log = Logger.getLogger(MyMapper.class);

@Override
protected void setup(Context context) throws IOException,
        InterruptedException {
    log.setLevel(Level.WARN);
}

如果您想添加自己的应用程序，那么您应该能够在如上所述的设置方法中以编程方式完成此操作（请参见此SO问题）。