使用水槽将文件从假脱机目录移动到HDFS

Question

我正在为我公司的 POC 实施一个小型 hadoop 集群。我正在尝试使用Flume将文件导入HDFS。每个文件都包含如下 JSON 对象（每个文件 1 个“长”行）：

{ "objectType" : [ { JSON Object } , { JSON Object }, ... ] }

“objectType”是数组中对象的类型（例如：事件、用户…）。

这些文件稍后将由多个任务根据“对象类型”进行处理。

我正在使用spoolDir源和HDFS接收器。

我的问题是：

>

当flume写入HDFS时，是否可以保留源文件名（文件名是唯一的，因为文件名中包含时间戳和UUID）

有没有办法将“deserializer.maxLineLength”设置为一个无限制的值(而不是设置一个很高的值)？

我真的不想泄露数据。JDBC和File哪个通道最好？（我没有高吞吐量的流量）

我的限制是，我必须尽可能多地使用开箱即用的水槽（没有自定义元素）。

谢谢你的帮助！

Answer 1

当flume写入HDFS时，可以保留源文件名吗(文件名是唯一的，因为文件名中包含时间戳和UUID)

对对于spooldir源，请确保fileheader属性设置为true。这将包括记录的文件名。

agent-1.sources.src-1.fileHeader = true

然后，对于你的接收器，使用avro_event序列化程序来捕获avro flume事件记录头中的文件名。

agent-1.sinks.snk-1.serializer = avro_event

avro 记录符合此架构。https://github.com/apache/flume/blob/trunk/flume-ng-core/src/main/java/org/apache/flume/serialization/FlumeEventAvroEventSerializer.java#L30

有没有办法将“deserializer.maxLineLength”设置为一个无限制的值(而不是设置一个很高的值)？

deserializer.maxLineLength没有无限制的配置https://github . com/Apache/flume/blob/trunk/flume-ng-core/src/main/Java/org/Apache/flume/serialization/line deserializer . Java # L143

我真的不想泄露数据。JDBC和File哪个通道最好？（我没有高吞吐量的流量）

这可能取决于您的数据库或文件系统的弹性选项。如果您有带备份的冗余数据库，请选择JDBC。如果你有一个持久的有弹性的文件系统，那么就使用file。