水槽假脱机目录源：无法加载较大的文件

Question

我正在尝试使用水槽假脱机目录摄取到 HDFS（SpoolDir

我正在使用Cloudera Hadoop 5.4.2。（Hadoop 2.6.0，Flume 1.5.0）。

它适用于较小的文件，但适用于较大的文件时失败。请在下面找到我的测试场景：

< li >千字节到50-60兆字节的文件，处理时没有问题。 < li >大于50-60MB的文件，它将大约50MB写入HDFS，然后我发现flume代理意外退出。 < Li > flume日志中没有错误消息。我发现它在试图创造”。tmp”文件(HDFS)，每次都在意外退出前写入几兆字节(有时2MB，有时45MB)。过了一段时间，最后试了试”。文件被重命名为已完成。tmp“已移除”)，源spoolDir中的文件也重命名为”。已完成”虽然完整的文件没有写入HDFS。

在实际场景中，我们的文件大小约为2GB。因此，需要一些强大的水槽配置来处理工作负载。

注：

> < li>Flume代理节点是hadoop集群的一部分，而不是datanode(它是一个边缘节点)。 < li >假脱机目录是运行flume代理的同一服务器上的本地文件系统。 < li >所有都是物理服务器(不是虚拟的)。 < li >在同一个集群中，我们有twitter数据馈送，flume运行良好(尽管数据量非常小)。 < li>

请找到我在此处使用的以下flume.conf文件:

#############start flume.conf####################

spoolDir.sources = src-1

spoolDir.channels = channel-1

spoolDir.sinks = sink_to_hdfs1

######## source


spoolDir.sources.src-1.type = spooldir

spoolDir.sources.src-1.channels = channel-1

spoolDir.sources.src-1.spoolDir = /stage/ETL/spool/

spoolDir.sources.src-1.fileHeader = true

spoolDir.sources.src-1.basenameHeader =true

spoolDir.sources.src-1.batchSize = 100000

######## channel
spoolDir.channels.channel-1.type = memory

spoolDir.channels.channel-1.transactionCapacity = 50000000

spoolDir.channels.channel-1.capacity = 60000000

spoolDir.channels.channel-1.byteCapacityBufferPercentage = 20

spoolDir.channels.channel-1.byteCapacity = 6442450944

######## sink 
spoolDir.sinks.sink_to_hdfs1.type = hdfs

spoolDir.sinks.sink_to_hdfs1.channel = channel-1

spoolDir.sinks.sink_to_hdfs1.hdfs.fileType = DataStream

spoolDir.sinks.sink_to_hdfs1.hdfs.path = hdfs://nameservice1/user/etl/temp/spool

spoolDir.sinks.sink_to_hdfs1.hdfs.filePrefix = %{basename}-

spoolDir.sinks.sink_to_hdfs1.hdfs.batchSize = 100000

spoolDir.sinks.sink_to_hdfs1.hdfs.rollInterval = 0

spoolDir.sinks.sink_to_hdfs1.hdfs.rollSize = 0

spoolDir.sinks.sink_to_hdfs1.hdfs.rollCount = 0

spoolDir.sinks.sink_to_hdfs1.hdfs.idleTimeout = 60

#############end flume.conf####################

请建议我是否有任何问题，我的配置或我错过了什么。

还是Flume SpoolDir无法处理较大文件的已知问题。

当做

-奥贝德

• 我已经将同一个主题发布到另一个开放社区，如果我从另一个社区得到解决方案，我会在这里更新，反之亦然。

Answer 1

尝试使用文件通道，因为它比内存通道更可靠。

使用以下配置添加文件通道。

spoolDir.channel = channel-1

spoolDir.channels.channel-1.type=文件

spoolDir.channels.channel-1.checkpoint /mnt/flume/checkpoint

spoolDir.channels.channel-1.dataDirs=/mnt/flume/data

Answer 2

我用几个大小的文件测试了flume，最后得出结论“flume不适合大文件”。

所以，我终于开始使用HDFS NFS网关了。这真的很酷，现在我什至不需要本地存储中的假脱机目录。使用 scp 将文件直接推送到 nfs 挂载的 HDFS。

希望它能帮助一些和我面临同样问题的人。

谢谢奥贝德