使用水槽将数据记录到水槽所需的格式

Question

我的项目有一个要求。我必须使用水槽收集日志数据，并且必须将数据输入到hive表中。

在这里，我需要将放置在文件夹中的文件收集到hdfs中，我正在使用Spooldir进行。在此之后，我需要处理这些文件并将输出放在hive文件夹中，以便立即查询数据。

我是否可以使用 sink 处理源文件，使放置在 hdfs 中的数据已经处理为所需的格式。？

谢了，萨希

Answer 1

使用下面的配置已经达到了我的目的。

source.type=spoldirsource.spooldir=${位置}

Answer 2

是的，您需要使用序列化程序（实现这个类-http://flume.apache.org/releases/content/1.2.0/apidocs/org/apache/flume/serialization/EventSerializer.html)，将其放入插件中。d/，然后将其添加到HDFS接收器的配置中。