Apache Flume花费的时间比创造性命令多

Question

我在本地文件系统中有24GB文件夹。我的任务是将该文件夹移动到HDFS。我有两种方法。1）hdfs dfs-复制来自本地 /home/data/ /home/

这大约需要 15 分钟才能完成。

2）使用水槽。

这是我的经纪人

spool_dir.sources = src-1
spool_dir.channels = channel-1
spool_dir.sinks = sink_to_hdfs
# source
spool_dir.sources.src-1.type = spooldir
spool_dir.sources.src-1.channels = channel-1
spool_dir.sources.src-1.spoolDir = /home/data/
spool_dir.sources.src-1.fileHeader = false
# HDFS sinks
spool_dir.sinks.sink_to_hdfs.type = hdfs
spool_dir.sinks.sink_to_hdfs.hdfs.fileType = DataStream
spool_dir.sinks.sink_to_hdfs.hdfs.path = hdfs://192.168.1.71/home/user/flumepush
spool_dir.sinks.sink_to_hdfs.hdfs.filePrefix = customevent
spool_dir.sinks.sink_to_hdfs.hdfs.fileSuffix = .log
spool_dir.sinks.sink_to_hdfs.hdfs.batchSize = 1000
spool_dir.channels.channel-1.type = file
spool_dir.channels.channel-1.checkpointDir = /home/user/spool_dir_checkpoint
spool_dir.channels.channel-1.dataDirs = /home/user/spool_dir_data
spool_dir.sources.src-1.channels = channel-1
spool_dir.sinks.sink_to_hdfs.channel = channel-1

这一步花了将近一个小时将数据推送到HDFS。

据我所知，Flume是分布式的，所以Flume加载数据的速度应该比copyFromLocal命令更快。

Answer 1

Apache Flume不是用来将文件夹从本地文件系统移动或复制到HDFS的。Flume旨在有效地从许多不同的来源收集、聚合和移动大量日志数据到一个集中的数据存储。(参考:水槽用户指南)

如果你想移动大文件或目录，你应该使用hdfs dfs -copyFromLocal，正如你已经提到的。

Answer 2

如果你看起来简单的读和写操作，flume将至少比你的配置慢2倍，因为你使用了文件通道-从磁盘读取的每个文件都被封装到flume事件(在内存中)中，然后通过文件通道序列化回磁盘。然后，接收器从文件通道(磁盘)读回事件，然后将其推送到hdfs。

您还没有在spoolDir源上设置blob反序列化器（因此它一次从源文件中读取一行，包装在flume Event中，然后写入文件通道），因此与HDFS接收器的默认rollXXX值相匹配，您将获得每10个事件/30s/1k的HDFS文件，而不是使用copyFromLocal获得的每个输入文件的文件。

所有这些因素加在一起会降低性能。如果想获得更好的性能，应该在spoolDir源上使用BlobDeserializer，并配以内存通道(但是要明白，内存通道不能保证在JRE过早终止的情况下事件的交付。