如何配置Hadoop/HDP组件的登录？

Question

我有一个包含以下服务/组件的HDP 2.4集群：

1. HBase
2. Kafka
3. MapReduce2
4. Storm
5. Oozie
6. 支持服务，如Zookeeper、Ambari、Thread、HDFS等

我已经找了几天了，希望能得到一些帮助。我有以下两个问题：

1. 如何在应用程序级别（我们使用log4j）和守护程序级别为下面提到的所有服务配置日志？
2. 在一个统一的地方查看这些服务的所有应用程序级别日志的最佳实践是什么？Ambari有什么可以提供的吗，或者我们需要第三方套餐（哪些是好的）？

非常感谢您可以提供的任何帮助！

Answer 1

如果您使用HDP，您应该查看本文（显示如何配置log4j）：

如何控制各种HDP组件的日志文件大小？

这一个也非常有用（显示了如何使用log4j压缩HDFS日志）：

如何使用log4j extras功能旋转和压缩NameNode日志？

Answer 2

如果您正在编写一个利用一个或多个HDP服务的应用程序，我建议您更新log4j。属性文件，以匹配所需的日志记录级别。最好的方法是使用Ambari管理UI。编辑log4j。属性，请执行以下步骤：

1. 单击仪表板左侧的任一服务

请参阅此处，以获取详细说明log4j示例的图像。HDFS服务的属性文件。

请记住，每个服务的日志文件只会捕获应用程序与该服务之间的交互。如果您使用Java，我个人建议您在应用程序中添加一个log4j实例；如果你不知道怎么做，我的建议是按照本教程（在这个问题上找到）来正确设置。根据应用程序调用每个服务的API的方式，您可以查询命令的输出并将其记录到您自己的日志文件中。

就在一个集中位置查看日志文件而言，您有两个选项：

1. 升级至HDP 2.5以使用Ambari日志搜索
2. 继续使用HDP2.4，使用Flume从头开始创建解决方案

我将在下面概述这两个选项。

我敢说，“更简单”的方法（我的意思是需要您付出最少的努力）是将集群升级到HDP2.5。更新后的Hortonworks数据平台以其最新版本Ambari 2.4为Ambari带来了一次大的革新。此版本包括Ambari Infra，通过Ambari日志搜索，您可以查看所有日志文件、按日志级别进行过滤、执行绘图和复杂功能。

如果升级整个集群不可行，另一个选择是从Hortonworks的网站获取Ambari 2.4存储库并手动安装。Hortonworks的一位代表建议我，Ambari 2.4可以在HDP2.4上运行，不会出现问题，因此这可能是一个可行的替代方案。。。虽然我建议你在尝试之前先和Hortonworks联系一下！

Ambari日志搜索的唯一缺点是，您无法在搜索中包含应用程序日志——Ambari日志搜索仅适用于Hadoop服务。

如果您不想升级到Ambari 2.4，那么其他选项看起来有点稀缺。我个人不知道有任何开源解决方案，一些粗略的谷歌搜索结果很少。ApacheChukwa和Cloudera的Scribe都应该在Hadoop中处理分布式日志收集，但都已经9年了。还有一个更老的Hortonworks日志收集流程，它利用Flume完成相同的流程，这可能值得一看。该线程还建议在其他情况下使用水槽。使用Flume从每个服务器/var/log/目录收集日志可能值得考虑。

此解决方案的优点是，您的应用程序日志文件可以作为源包含在Flume工作流中，并包含在其他HDP服务日志中（取决于您决定将它们放在何处）。