使用水槽读取IBM MQ数据

Question

我想从IBM MQ中读取数据，并将其放入HDFs。

查看了 JMS 的水槽源，似乎它可以连接到 IBM MQ，但我不明白所需属性列表中的“destinationType”和“destinationName”是什么意思。有人可以解释一下吗？

还有，我应该如何配置我的水槽代理

flumeAgent1(在与MQ相同的机器上运行)读取MQ数据——flumeAgent2(在Hadoop集群上运行)写入Hdfs，或者在Hadoop集群上只有一个代理就足够了

有人可以帮助我了解如何将 MQ 与水槽集成吗

参考

https://flume.apache.org/FlumeUserGuide.html

谢谢，查亚

Answer 1

关于Flume代理体系结构，它是由一个负责接收或轮询事件的源以最简单的形式组成的，并将事件转换成放在通道中的Flume事件。然后，接收器接收这些事件，以便将数据保存在某个地方，或者将数据发送到另一个代理。所有这些组件(源、信道、接收器，即代理)都在同一台机器上运行。相反，可以分布不同的代理。

话虽如此，您的场景似乎需要基于JMS源、通道（通常是内存通道）和HDFS接收器的单个代理。

如文档中所述，JMS 源代码仅针对 ActiveMQ 进行了测试，但 shoukd 适用于任何其他队列系统。该文档还提供了一个示例：

a1.sources = r1
a1.channels = c1
a1.sources.r1.type = jms
a1.sources.r1.channels = c1
a1.sources.r1.initialContextFactory = org.apache.activemq.jndi.ActiveMQInitialContextFactory
a1.sources.r1.connectionFactory = GenericConnectionFactory
a1.sources.r1.providerURL = tcp://mqserver:61616
a1.sources.r1.destinationName = BUSINESS_DATA
a1.sources.r1.destinationType = QUEUE

< code>a1是单个代理的名称。< code>c1是信道的名称，其配置仍必须完成；并且完全没有水槽配置。可以通过添加以下内容轻松完成:

a1.sinks = k1
a1.sinks.k1.type = hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path = ...
a1.sinks.k1...
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1...

r1 是 JMS 源代码，可以看出，destinationName 只是要求一个字符串名称。destinationType 只能接受两个值：队列或主题。我认为重要的参数是providerURL和initialContextFactory和connectionFactory，它们必须适应IBM MQ。