如何在不指定来源的情况下使用Flume的Kafka Channel

Question

我有一个现有的 Kafka 主题和一个从那里读取并写入 HDFS 的 flume 代理。我想重新配置我的水槽代理，以便它脱离现有设置;一个 Kafka 源，文件 Channel 到 HDFS Sink，以使用 Kafka 通道。

我在cloudera文档中读到，仅使用Kafka通道和HDFS接收器（没有水槽源）就可以实现这一目标。（除非我弄错了棍子的一端。所以我尝试创建此配置，但它不起作用。它甚至没有在盒子上启动水槽过程。

# Test
test.channels = kafka-channel
test.sinks = hdfs-sink

test.channels.kafka-channel.type = 
org.apache.flume.channel.kafka.KafkaChannel
test.channels.kafka-channel.kafka.bootstrap.servers = localhost:9092
test.channels.kafka-channel.kafka.topic = test
test.channels.kafka-channel.parseAsFlumeEvent = false

test.sinks.hdfs-sink.channel = kafka-channel
test.sinks.hdfs-sink.type = hdfs
test.sinks.hdfs-sink.hdfs.path = hdfs://localhost:8082/data/test/

我正在使用：

• HDP快速启动VM 2.6.3
• 水槽版本1.5.2
• HDFS目录不存在
• ps-ef|grep-flume仅在我添加了一个kafka源之后返回一个进程，但这是不对的，因为这样做会为发布到主题上的任何消息创建一个无限循环

是否可以只使用Kafka频道和HDFS接收器，或者我是否需要使用Kafkasource但更改一些其他配置，以防止消息无限循环？

< code >Kafka-源 -

Answer 1

这并不能直接回答你关于Flume的问题，但总的来说，由于你已经在使用Apache Kafka，所以最好使用Kafka Connect（它是Apache Kafka的一部分）来解决这种模式。有一个Kafka Connect HDFS连接器，根据本指南，使用简单。

Answer 2

挖掘了一下之后，我注意到Ambari没有为指定的代理创建任何flume conf文件。Ambari似乎只在我指定< code > test . sources = Kafka-source 时创建/更新flume配置。一旦我将它添加到flume配置中(通过ambari ),配置就在机器上创建了，flume代理成功启动。

最终的水槽配置如下所示：

test.sources=kafka-source
test.channels = kafka-channel
test.sinks = hdfs-sink

test.channels.kafka-channel.type = org.apache.flume.channel.kafka.KafkaChannel
test.channels.kafka-channel.kafka.bootstrap.servers = localhost:9092
test.channels.kafka-channel.kafka.topic = test
test.channels.kafka-channel.parseAsFlumeEvent = false

test.sinks.hdfs-sink.channel = kafka-channel
test.sinks.hdfs-sink.type = hdfs
test.sinks.hdfs-sink.hdfs.path = hdfs:///data/test

请注意，我没有在源上设置任何属性(这将导致我在问题中提到的无限循环问题)，它只是需要被提及，因此Ambari创建flume配置并启动代理。