如何确定水槽拓扑方法？

Question

我正在设置flume，但是不确定我们的用例应该使用什么样的拓扑。

我们基本上有两个web服务器，它们能够以每秒2000个条目的速度生成日志。每个条目的大小约为137字节。

目前我们已经使用rsyslog（写入tcp端口），php脚本将这些日志写入其中。我们在每个Web服务器上运行一个本地水槽代理，这些本地代理侦听tcp端口并将数据直接放入hdfs。

所以localhost：tcpport是“水槽源”，“hdfs”是水槽。

我不确定上述方法，并且对以下三种方法感到困惑:

方法1：Web服务器，RSyslog

方法2：Web服务器、同一台机器上的RSyslog和在hadoop集群中的Namenode上运行的Flume收集器（在远程端口上侦听由Web服务器上的rsyslog写入的事件），以收集数据并将其转储到hdfs中。

方法3：Web服务器，RSyslog

此外，我们使用hive，所以我们直接写入分区目录。所以我们想想出一种方法，允许我们在每小时的分区上写。

基本上，我只是想知道人们是否出于类似的目的使用flume，它是否是正确可靠的工具，我的方法是否明智。

我希望这不会太模糊。任何帮助都将不胜感激。

Answer 1

对于您的问题，典型的建议是采用扇入或汇聚流代理部署模型。(谷歌“水槽扇入”了解更多细节)。在这个模型中，理想情况下，每个web服务器上都有一个代理。这些代理中的每一个都将事件转发给少数聚合器或收集器代理。然后，聚合器代理将事件转发到最终目的地代理，该代理写入HDFS。

这种分层架构允许您简化扩展、故障转移等。