Flume除非被杀，否则不会写入HDFS

Question

我按照设置TwitterSource和HDFS汇的链接。

用于启动代理的命令：

bin/flume-ng agent -n TwitterAgent -c conf -f conf/flume-conf.properties -Dflume.root.logger=DEBUG,console

我成功地做到了这一点，但现在有一个问题。在停止flume代理之前，输出不会被写入。一旦我杀了我的水槽代理，它就会被写到HDFS。

我有两个问题：

1）如何停止水槽剂 - 除了做CTRL C之外，还有其他方法吗？

2)我能让flume-agent在移动中向HDFS写信，而不必杀死代理吗？

注意:终止进程后，写入的文件。tmp作为分机。是否在意料之中？

编辑:

TwitterAgent.sinks.HDFS.hdfs.rollSize = 0
TwitterAgent.sinks.HDFS.hdfs.rollCount = 10000
TwitterAgent.sinks.HDFS.hdfs.rollInterval = 600

Answer 1

谢谢Donald和Praveen：

我可以通过在 flume-conf 文件中设置以下内容来解决问题

TwitterAgent.sinks.HDFS.hdfs.batchSize = 1000
TwitterAgent.sinks.HDFS.hdfs.rollSize = 0
TwitterAgent.sinks.HDFS.hdfs.rollCount = 10000

并通过删除此条目

TwitterAgent.sinks.HDFS.hdfs.rollInterval = 600

现在flume正在随时随地写入HDFS。

Answer 2

写入了多少数据？我敢打赌，它不会写，因为你还没有收集到足够的触发与默认配置参数HDFS冲洗。有多种方法可以配置HDFS接收器，使其以可预测的方式刷新。您可以对其进行设置，使其在发生多个事件(< code>hdfs.rollCount)时、在一个时间间隔(< code>hdfs.rollInterval)时或在一个大小(< code>hdfs.rollSize)时刷新。当您终止代理时，它会清除当前正在做的事情并刷新...所以基本上你是通过杀死它来强迫它。

您也可以尝试降低hdfs.batchSize。

记住Hadoop喜欢更大的文件。一般来说，你应该尽量避免大量的小文件。所以在这里要小心滚动太频繁。

像你一样在前台运行它，ctrl c或杀是阻止它的唯一真正方法。在生产中，您可能应该使用具有开始/停止/重新启动的初始化脚本。