将水槽配置为在将数据下沉到hdfs时不生成. tmp文件

Question

我使用flume将服务器日志中的数据传输到hdfs中。但是当数据流入hdfs时，它首先创建。tmp文件。在配置中有没有一种方法？可以隐藏tmp文件，或者通过在前面附加一个.来改变其名称。我的收款代理文件看起来像-

## TARGET AGENT ##
## configuration file location:  /etc/flume/conf
## START Agent: flume-ng agent -c conf -f /etc/flume/conf/flume-trg-agent.conf -n collector

#http://flume.apache.org/FlumeUserGuide.html#avro-source
collector.sources = AvroIn
collector.sources.AvroIn.type = avro
collector.sources.AvroIn.bind = 0.0.0.0
collector.sources.AvroIn.port = 4545
collector.sources.AvroIn.channels = mc1 mc2

## Channels ##
## Source writes to 2 channels, one for each sink
collector.channels = mc1 mc2

#http://flume.apache.org/FlumeUserGuide.html#memory-channel

collector.channels.mc1.type = memory
collector.channels.mc1.capacity = 100

collector.channels.mc2.type = memory
collector.channels.mc2.capacity = 100

## Sinks ##
collector.sinks = LocalOut HadoopOut

## Write copy to Local Filesystem
#http://flume.apache.org/FlumeUserGuide.html#file-roll-sink
#collector.sinks.LocalOut.type = file_roll
#collector.sinks.LocalOut.sink.directory = /var/log/flume
#collector.sinks.LocalOut.sink.rollInterval = 0
#collector.sinks.LocalOut.channel = mc1

## Write to HDFS
#http://flume.apache.org/FlumeUserGuide.html#hdfs-sink

collector.sinks.HadoopOut.type = hdfs
collector.sinks.HadoopOut.channel = mc2
collector.sinks.HadoopOut.hdfs.path = /user/root/flume-channel/%{log_type}
collector.sinks.k1.hdfs.filePrefix = events-
collector.sinks.HadoopOut.hdfs.fileType = DataStream
collector.sinks.HadoopOut.hdfs.writeFormat = Text
collector.sinks.HadoopOut.hdfs.rollSize = 1000000

任何帮助都将不胜感激。

Answer 1

设置< code>hdfs.idleTimeout=x，其中x是一个正数

Answer 2

默认情况下，Flume中打开用于写入的所有文件都可以具有.tmp扩展名。您可以使用另一个扩展来更改此设置。但我们无法避免这种扩展。此外，还需要区分关闭的文件。因此，对于打开的文件，最好使用“.”这样的后缀。水槽HDFS水槽提供了几个参数：

HDFS . inuse Prefix–前缀，用于flume主动写入hdfs.inUseSuffix的临时文件。tmp后缀，用于flume主动写入的临时文件

hdfs。inUsePrefix=。

collector.sinks.HadoopOut.hdfs.in使用前缀=。

hdfs.inUseSuffix=如果为空，则使用. tmp，否则使用指定的后缀。