水槽假脱机目录重命名文件。甚至在水槽代理开始假脱机之前完成

Question

我有我有水槽代理如下

agent1.sources = Weather
agent1.sources.Weather.type = spooldir
agent1.sources.Weather.spoolDir = /Weather/Docs
agent1.sources.Weather.channels = MemChannel
agent1.channels = MemChannel
agent1.channels.MemChannel.type = memory
agent1.channels.MemChannel.capacity = 10000
agent1.channels.MemChannel.transactionCapacity = 1000
agent1.channels.MemChannel.deletePolicy = immediate
agent1.sinks = HDFS
agent1.sinks.HDFS.channel = MemChannel
agent1.sinks.HDFS.type = hdfs
agent1.sinks.HDFS.hdfs.path = hdfs://localhost:8020/user/flume/input/
agent1.sinks.HDFS.hdfs.fileType = DataStream
agent1.sinks.HDFS.hdfs.writeFormat = Text
agent1.sinks.HDFS.hdfs.batchSize = 1000
agent1.sinks.HDFS.hdfs.rollSize = 0
agent1.sinks.HDFS.hdfs.rollCount = 10000

假脱机目录中的文件将自动重命名为 。已完成，文件应重命名为 。在水槽代理将该文件写入 HDFS 后完成，但在我的情况下，它将文件重命名为 .在代理运行之前已完成。它还将文件重命名为 .即使我只是手动将文件复制到假脱机目录，也已完成。

还有一个问题是删除策略即使在文件复制到HDFS后也不会删除文件。

代理将假脱机目录文件随机写入HDFS。

它还在HDFS创建了大量的tmp文件。

我写经纪人的时候是不是做错了什么，还是我遗漏了经纪人的任何内容。。？？

请帮助我解决此问题。

提前感谢

Answer 1

我怀疑Flume的行为符合设计，您可能会对事情的顺序感到困惑。您可以查看日志来证明这一点。

Flume是一个队列。spooldir源将从文件中读取行，并将它们放入队列，然后删除或重命名文件。在该操作序列中没有任何东西等待事件被写入接收器。

正如我所说，你可以阻止HDFS，你会在日志中看到这种行为。MemChannel上的队列大小将增加，直到重新打开HDFS。