使用Flume Avro的日志数据未正确存储在配置单元中

Question

我使用Flume 1.5.0从应用程序服务器收集日志。假设我有三个应用服务器，应用程序A，应用程序B，应用程序C。一个运行hive的HDFS服务器。现在水槽代理正在所有3个应用服务器上运行，并将日志消息从应用服务器传递到Hdfs服务器，在那里另一个水槽代理正在运行，最终日志存储在hadoop文件系统中。现在我已经创建了一个外部Hive表来映射这些日志数据。但是除了hive无法正确解析日志数据并存储在表中之外，一切都很顺利。

以下是我的水槽和蜂箱配置：

虚拟日志文件格式（|分隔）：ClientId |应用程序请求| URL

应用服务器上的Flume配置：

app-agent.sources = tail
app-agent.channels = memoryChannel 
app-agent.sinks = avro-forward-sink 

app-agent.sources.tail.type = exec 
app-agent.sources.tail.command = tail -F /home/kuntal/practice/testing/application.log
app-agent.sources.tail.channels = memoryChannel


app-agent.channels.memoryChannel.type = memory
app-agent.channels.memoryChannel.capacity = 100000
app-agent.channels.memoryChannel.transactioncapacity = 10000

app-agent.sinks.avro-forward-sink.type = avro 
app-agent.sinks.avro-forward-sink.hostname = localhost
app-agent.sinks.avro-forward-sink.port = 10000
app-agent.sinks.avro-forward-sink.channel = memoryChannel

Hdfs服务器上的Flume conf：

hdfs-agent.sources = avro-collect
hdfs-agent.channels = memoryChannel 
hdfs-agent.sinks = hdfs-write 

hdfs-agent.sources.avro-collect.type = avro 
hdfs-agent.sources.avro-collect.bind = localhost
hdfs-agent.sources.avro-collect.port = 10000 
hdfs-agent.sources.avro-collect.channels = memoryChannel

hdfs-agent.channels.memoryChannel.type = memory
hdfs-agent.channels.memoryChannel.capacity = 100000
hdfs-agent.channels.memoryChannel.transactioncapacity = 10000

hdfs-agent.sinks.hdfs-write.channel = memoryChannel
hdfs-agent.sinks.hdfs-write.type = hdfs 
hdfs-agent.sinks.hdfs-write.hdfs.path = hdfs://localhost:9000/user/flume/tail_table/avro
hdfs-agent.sinks.hdfs-write.rollInterval = 30 

配置单元外部表：

CREATE EXTERNAL TABLE IF NOT EXISTS test(clientId int, itemType string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'
LOCATION '/user/flume/tail_table/avro';

请建议我怎么做？我需要把AvroSerde包括在蜂箱侧吗？

Answer 1

您在hdfs服务器端的Flume配置文件上犯了一个小错误。
对于所有与hdfs相关的配置，我们必须将hdfs包含到属性中。

hdfs-agent.sinks.hdfs-write.rollInterval=30

必须是

hdfs-agent.sinks.hdfs写. hdf.rollInterval=30

有关更多信息，请参阅https://flume.apache.org/FlumeUserGuide.html#hdfs-接收器。现在检查从hdfs端获取的文件是否正确。尝试使用cat命令或其他命令打印文件内容，以查看是否只有您想要发送的文本。如果在打印内容时还有其他乱七八糟的内容，那么配置文件中就有一些错误。