使用 NGINX 将跟踪数据转发到 Flume

Question

我正在根据我们通过简单的图像信标收集的仪器数据，为我们的网站属性提供分析。我们的数据管道从Flume开始，我需要尽可能快的方法来解析查询字符串参数，形成一条简单的文本消息并将其推入Flume。

出于性能原因，我倾向于使用nginx。由于已经支持从内存提供静态映像，所以我的任务减少到处理查询字符串并将消息转发到Flume。因此，问题是：

nginx和Flume集成最简单可靠的方法是什么？我在考虑使用syslog (Flume支持syslog监听器)，但是我很纠结如何配置nginx将自定义日志消息转发给运行在远程服务器和自定义端口上的syslog(或者只是TCP)监听器。nginx现有的第三方模块是否可行，或者我必须自己编写？

另外，对于编写一个快速$args解析器，您可以推荐的任何现有内容都将非常受欢迎。

如果您认为我走在一条完全错误的道路上，并且可以推荐更好的性能，请随时告诉我。

先谢谢！

Answer 1

你应该像tail -f一样解析nginx日志文件，然后将结果传递给Flume。这将是最简单，最可靠的方法。syslog 的问题在于它会阻止 nginx，并且可能会完全卡在高负载下或出现问题（这就是 nginx 不支持它的原因）。