在 Apache Flume 中获取 JMS 标头

Question

我正在尝试使用Apache Flume使用JMS消息（IBM Websphere MQ）并将数据存储到HDFS。在阅读消息时，我只能看到消息的正文，而不能看到消息的标题内容。

是否可以使用Apache Flume读取带有头属性的jms消息？

我的配置：

# Source definition
u.sources.s1.type=jms
u.sources.s1.initialContextFactory=ABC
u.sources.s1.connectionFactory=<my connection factory>
u.sources.s1.providerURL=ABC
u.sources.s1.destinationName=r1
u.sources.s1.destinationType=QUEUE
# Channel definition
u.channels.c1.type=file
u.channels.c1.capacity=10000000
u.channels.c1.checkpointDir=/checkpointdir
u.channels.c1.transactionCapacity=10000
u.channels.c1.dataDirs=/datadir
# Sink definition
u.sinks.r1.type=hdfs
u.sinks.r1.channel=c1
u.sinks.r1.hdfs.path=/message/%Y%m%d
u.sinks.r1.hdfs.filePrefix=event_
u.sinks.r1.hdfs.fileSuffix=.xml
u.sinks.r1.hdfs.fileType = DataStream
u.sinks.r1.hdfs.writeFormat=Text
u.sinks.r1.hdfs.useLocalTimeStamp=TRUE

Answer 1

有相当多的JMS消息类型，如这里的“表30–2 JMS消息”所示。

FlumeDefaultJMSMessageConver使用TextMessage如下所示，供您参考：

...
else if(message instanceof TextMessage) {
      TextMessage textMessage = (TextMessage)message;
      event.setBody(textMessage.getText().getBytes(charset));
    } 
...

TextMessage只提供消息正文。

依我看，你有两个选择:

1. 如果可能的话，在正文本身中发送消息头、标头值对，并按原样使用 “DefaultJMSMessageConverter”。
2. 通过编写自定义JMSMessageConverter构建自己的“flume-jms-source.jar”，并将“消息”类型转换为javax.jms.Message，获取JMS标头，在SimpleEvent中设置它们。

希望这能给你一些指导。