使用Flume将CSV文件写入HDFS

Question

我正在使用Flume从我的本地文件系统写一些CSV文件到HDFS。

我想知道HDFS水槽的最佳配置是什么，这样本地系统上的每个文件都会在HDFS以CSV格式准确复制。我希望Flume处理的每个CSV文件都是单个事件，作为单个文件刷新和写入。尽可能多地，我希望文件是完全一样的，没有标题的东西等。

我需要在这些值上加什么来模拟我想要的行为？

hdfs.batchSize = x
hdfs.rollSize = x
hdfs.rollInterval = x
hdfs.rollCount = x

如果还有其他Flume代理配置变量需要更改，请提供。

如果这在使用现有配置时不起作用，那么我需要使用自定义接收器来实现我想要的吗？

感谢您的意见。

另外，我知道hadoop fs-put或-copyFromLocal更适合这项工作，但因为这是一个概念证明（表明我们可以使用Flume进行数据摄取），所以我需要使用Flume。

Answer 1

您必须通过将值设置为 0 来禁用所有 roll* 属性。这将有效地防止水槽滚动文件。您可能已经注意到，flume 基于每个事件运行，在大多数情况下，事件是文件中的一行。要同时实现文件结构本身的保留，您需要使用后台打印源并激活 fileHeader：

fileHeader  false   Whether to add a header storing the absolute path filename.

将其设置为 true。它将提供一个 %{file} 属性，您可以在 hdfs 接收器路径规范中引用该属性。