Flume：目录到Avro->Avro到HDFS-传输后Avro无效

Question

我让用户编写AVRO文件，我想使用Flume将所有这些文件移动到使用Flume的HDFS中。因此，我以后可以使用Hive或Pig来查询/分析数据。

在客户端上，我安装了水槽，并有一个SpoolDir源和AVRO接收器，如下所示：

a1.sources = src1
a1.sinks = sink1
a1.channels = c1

a1.channels.c1.type = memory

a1.sources.src1.type = spooldir
a1.sources.src1.channels = c1
a1.sources.src1.spoolDir = {directory}
a1.sources.src1.fileHeader = true
a1.sources.src1.deserializer = avro

a1.sinks.sink1.type = avro
a1.sinks.sink1.channel = c1
a1.sinks.sink1.hostname = {IP}
a1.sinks.sink1.port = 41414

在hadoop集群上，我有一个AVRO源和HDFS接收器：

a1.sources = avro1
a1.sinks = sink1
a1.channels = c1

a1.channels.c1.type = memory

a1.sources.avro1.type = avro
a1.sources.avro1.channels = c1
a1.sources.avro1.bind = 0.0.0.0
a1.sources.avro1.port = 41414

a1.sinks.sink1.type = hdfs
a1.sinks.sink1.channel = c1
a1.sinks.sink1.hdfs.path = {hdfs dir}
a1.sinks.sink1.hdfs.fileSuffix = .avro
a1.sinks.sink1.hdfs.rollSize = 67108864
a1.sinks.sink1.hdfs.fileType = DataStream

问题是HDFS上的文件不是有效的AVRO文件！我正在使用色调UI检查文件是否是有效的AVRO文件。如果我将我在PC上生成的AVRO I文件上传到集群，我可以很好地看到其内容。但是来自Flume的文件不是有效的AVRO文件。

我尝试了Flume中包含的Flume avro客户端，但没有工作，因为它每行发送一个破坏avro文件的Flume事件，这是使用desializer=avro的spooldir源代码修复的。所以我认为在写入文件时问题出在HDFS接收器上。

使用hdfs。fileType=DataStream它写入avro字段中的值，而不是整个avro文件，从而丢失所有架构信息。如果我使用hdfs。fileType=SequenceFile由于某些原因，这些文件无效。

有什么想法吗？

谢谢

Answer 1

您必须将其添加到hdfs接收器配置中（此属性的值默认为TEXT）：

a1.sinks.sink1.serializer = avro_event

这应该写入有效的avro文件，但使用默认模式。

但是，由于您使用avro文件作为输入，您可能希望编写具有相同模式的avro文件。为此，您可以使用cloud dera的cdk中的AvroEventSerializer。假设您构建了代码并将jar放在Flume的lib目录中，您现在可以在属性文件中定义Serializer：

a1.sinks.sink1.serializer = org.apache.flume.serialization.AvroEventSerializer$Builder

序列化程序假定avro模式以URL或文本的形式存在于每个事件的标题中。要使用后一种方法（效率较低，但可能更容易尝试），必须通过添加以下属性，告诉客户端的源向每个事件添加模式文本：

a1.sources.src1.deserializer.schemaType = LITERAL