无法在Flume-ng中创建类型为HDFS的接收器

Question

我有一个写日志到HDFS的Flume-ng。
我在一个节点中做了一个代理。
但是它没有运行。
这是我的配置。

#示例2.conf：单节点水槽配置

#命名这个代理上的组件
agent1.sources=源1
agent1.sinks=sink1
agent1.channels=channel1

agent1.sources.source1.type=avro
agent1.sources.source1.bind=localhost
agent1.sources.source1.port=41414

#使用在内存中缓冲事件的通道
agent1.channels.channel1.type=memory
agent1.channel1.capacity=10000
agent1.channel1.transactionCapacity=100

agent1.sinks.sink1.typeagent1.sinks.sink1.hdfs.pathhdfs://dbkorando.kaist.ac.kr:9000/flume

#绑定源并接收通道
agent1.sources.source1.channels=channel1
agent1.sinks.sink1.channel=channel1

我命令

flume ng agent-n agent1-c conf-c/home/hyahn/hadoop-0.20.2/hadoop-0.20.2-core.jar-f conf/example2.conf-Dflume.root.logger=INFO，控制台

结果是

信息：包括通过（/home/hyahn/Hadoop-0.20.2/bin/Hadoop）为HDFS访问找到的Hadoop库
exec/usr/java/jdk1.7.0_02/bin/java-Xmx20m-Dflume.root.logger=Info，console-cp'/etc/flume ng/conf:/usr/lib/flume ng/lib/*：/home/hyahan/hadoop-0.20.2/hadoop-0.20.2-core.jar'-Djava.library.path=：/home/hyahahan/hadoop-0.20.2/bin//lib/native/Linux-amd64-org.apache.flume.node.Application-n agent1-f conf/example2.conf
2012-11-27 15:33:50（main）[-INFO-org.apache.apache.flume.lifecycle.LifecycleSupervisor]（LifecycleSupervisor.java:67）启动生命周期管理器1
2012-11-27 15:33:17253（main）[INFO-org.apache.flume.node.FlumeNode.start（FlumeNode.java:54）]水槽节点启动-agent1
2012-11-27 15:33:17257（LifecycleSupervisor-1-1）[INFO-org.apache.flume.conf.file.AbstractFileConfigurationProvider.start（AbstractFileConfigurationProvider.java:67）]配置提供程序启动
2012-11-27 15:33:17257（lifecycleSupervisor-1-0）[INFO-org.apache.flume.nodemanager.DefaultLogicalNodeManager.start（DefaultLogicalNodeManager.java:203）]节点管理器启动
2012-11-27 15:33:17258（lifecycleSupervisor-1-0）[INFO-org.apache.flume.lifecycle.LifecycleSupervisor.start（LifecycleSupervisor.java:67）]启动lifecycle supervisor 9
2012-11-27 15:33:17258（conf-file-poller-0）[INFO-org.apache.flume.conf.file.AbstractFileConfigurationProvider$FileWatcherrunable.run（AbstractFileConfigurationProvider.java:195]重新加载配置文件：conf/example2.conf
2012-11-27 15:33:17266（conf-file-poller-0）[INFO-org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty（FlumeConfiguration.java:988）]处理：sink1
2012-11-27 15:33:17266（conf-file-poller-0）[INFO-org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty（FlumeConfiguration.java:988）]处理：sink1
2012-11-27 15:33:17267（conf-file-poller-0）[INFO-org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty（FlumeConfiguration.java:988）]处理：sink1
2012-11-27 15:33:17268（conf-file-poller-0）[INFO-org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty（FlumeConfiguration.java:902）]添加的汇：sink1代理：agent1
2012-11-27 15:33:17290（conf-file-poller-0）[INFO-org.apache.flume.conf.FlumeConfiguration.validateConfiguration（FlumeConfiguration.java:122）]验证后flume配置包含代理的配置：[agent1]
2012-11-27 15:33:17290（conf-file-poller-0）[INFO-org.apache.flume.conf.properties.PropertiesFileConfigurationProvider.loadChannels（PropertiesFileConfigurationProvider.java:249）]创建通道
2012-11-27 15:33:17354（conf-file-poller-0）[INFO-org.apache.flume.instrumentation.MonitoredCounterGroup.（MonitoredCounterGroup.java:68）]类型为CHANNEL、名称为CHANNEL 1的监视计数器组已成功注册。
2012-11-27 15:33:17355（conf-file-poller-0）[INFO-org.apache.flume.conf.properties.properties文件配置提供程序.LoadChannel（PropertiesFileConfigurationProvider.java:273）]创建了通道通道1
2012-11-27 15:33:17368（conf-file-poller-0）[INFO-org.apache.flume.instrumentation.MonitoredCounterGroup.（MonitoredCounterGroup.java:68）]类型为SOURCE、名称为source1、已成功注册的监控计数器组。
2012-11-27 15:33:17378（conf-file-poller-0）[INFO-org.apache.flume.sink.DefaultSinkFactory.create（DefaultSinkFactory.java:70）]创建sink的实例：sink1，类型：HDFS

如上所述，出现了水槽产生部分停止的问题。到底是什么问题？

Answer 1

您需要打开另一个窗口并在端口41414发送avro命令如下：

bin/flume-ng avro-client --conf conf -H localhost -p 41414 -F /home/hadoop1/aaa.txt -Dflume.root.logger=DEBUG,console

我在/home/hadoop1/目录下有一个名为aaa.txt的文件

您的flume将读取此文件并发送到hdfs。