使用Flume将日志文件写入HDFS

Question

在HDFS中写入日志文件的最佳方式是什么？我正在尝试配置Apache Flume，并尝试配置能够为我提供数据可靠性的源。我试图配置“exec”，后来也查看了“spooldir”，但flume.apache上的以下文档。org对我的意图表示怀疑-

执行来源：

最常请求的功能之一是像“tail -F file_name”这样的用例，其中应用程序写入磁盘上的日志文件，Flume 尾随文件，将每一行作为事件发送。虽然这是可能的，但有一个明显的问题;如果频道已满，而 Flume 无法发送事件，会发生什么情况？Flume 无法向写入日志文件的应用程序指示它需要保留日志或由于某种原因未发送事件。您的应用程序永远无法保证在使用单向异步接口（如 ExecSource）时已收到数据！

假脱机目录来源：

与Exec源不同，“spooldir”源是可靠的，即使Flume重新启动或终止，也不会丢失数据。为了获得这种可靠性，只能将不可变的文件放入假脱机目录。如果文件在放入假脱机目录后被写入，Flume将在其日志文件中打印错误并停止处理。

还有什么更好的，我可以用它来确保Flume不会错过任何活动，也可以实时阅读？

Answer 1

我建议使用假脱机目录源，因为它很可靠。不可变性要求的一个解决方法是在第二个目录中编写文件，一旦它们达到一定的大小(以字节或日志数量计)，就将它们移动到假脱机目录中。