Flume在更改到新一天的目录后将.tmp文件保留在HDFS中
我用的是Flume 1.7.0和HDFS水槽。我将Flume配置为将数据放在HDFS的日期目录中，这样当新的一天到来时，它会自动更改目录。问题是我把flume设置为按文件大小(240MB)滚动，但是flume离开了。tmp文件，当目录改变时。似乎flume改变到新的一天的目录，而没有关闭未完成的文件(小于240MB)。
例如。如果我启动3个水槽代理。然后当水槽代理更改为新目录20180411时，目录20180410中将保留3个. tmp文件。
有没有办法让水槽关闭？tmp文件在它改变到新的一天的目录之前？谢谢大家帮我做这件事。
共有1个答案
您可以将 hdfs.idleTimeout 添加到配置中，因此如果没有新事件添加到文件中，则文件将被关闭，根据文档
非活动文件关闭前的超时时间(0 =禁用空闲文件的自动关闭)
请注意，这个数字是秒。一个好的等待量是至少几分钟。
-
问题内容： 我有此功能可以将图像保存在tmp文件夹中 但是，当我打开应用程序的temp文件夹时，它是空的。将图像保存在temp文件夹中，我做错了什么？ 问题答案： 不是获取的文件路径的正确方法，请改用： 或者 更好的是， 仅使用URL： 更好的是，使用 并检查成功或失败： Swift 3/4更新：
-
问题内容： 下面的代码可以正常工作，但是每次运行时都会将字体文件的副本保留在temp目录中。这些文件名为 +〜JF7154903081130224445.tmp ，其中每个创建的文件的数字似乎都是随机的。 我在sun.com的论坛上以及在Web上的其他资源中发现了多年的讨论，这些讨论被认为是JDK中的错误，从1.5.0_06升级到1.5.0_08可以解决问题；但是，我使用的版本是更高版本（1.6.
-
某些HDFS接收器文件未关闭 有人说，如果接收器进程因超时条件等问题而失败，它不会再次尝试关闭文件。 我已经查看了水槽日志文件，但没有错误。然而，日志文件显示，每个周期，flume生成两个tmp文件，只关闭一个tmp。。。 对于配置的任何建议将不胜感激！谢谢！
-
我让用户编写AVRO文件，我想使用Flume将所有这些文件移动到使用Flume的HDFS中。因此，我以后可以使用Hive或Pig来查询/分析数据。 在客户端上，我安装了水槽，并有一个SpoolDir源和AVRO接收器，如下所示： 在hadoop集群上，我有一个AVRO源和HDFS接收器： 问题是HDFS上的文件不是有效的AVRO文件！我正在使用色调UI检查文件是否是有效的AVRO文件。如果我将我在
-
我有一个java应用程序，它从不同的来源收集数据并将输出写入特定目录下的文件。 我有一个水槽代理配置为使用spoldir源代码从该目录读取并使用将输出写入Solr。 水槽代理引发以下异常 这是水槽代理的配置 我从异常中理解的是，flume代理开始处理文件，而java应用程序没有完成它的编写。 如何解决此问题？ 我不知道这些信息是否有价值。这些配置以前可以正常工作，没有任何问题。我们运行水槽的机器遇
-
我在Windows中使用Java8，我试图实现一件简单的事情。假设我有一个目录和一个目录。我每天都在尝试将文件从源移动到目的地。下面是一个简单的java代码，使用NIO； null