启动水槽代理时找不到文件异常
我第一次安装Flume。我使用的是hadopop-1.2.1和Flume 1.6.0
我试着按照这个指南建立一个水槽代理。
我执行了这个命令:< code > $ bin/flume-ng agent-n $ agent _ name-c conf-f conf/flume-conf . properties . template
它说< code>log4j:ERROR setFile(null，true)调用失败。java.io.FileNotFoundException:。/logs/flume.log(没有这样的文件或目录)
这不是＜code＞水槽吗。日志文件是否自动生成？如果没有，我如何纠正这个错误？
共有3个答案
正如@Botond所说，您需要设置正确的权限。
然而，如果你在一个程序中运行Flume，比如supervisor或一个自定义脚本，你可能需要改变默认路径，因为它是相对于启动器的。这个路径是在/path/to/Apache-flume-1 . 6 . 0-bin/conf/log4j . properties中定义的
flume.log.dir=./logs
要使用要使用的绝对路径 - 但是，您仍然需要正确的权限。
您收到此错误可能是因为您直接在控制台上运行命令，您必须首先转到 flume 中的 bin 并尝试通过控制台在那里运行您的命令。
试试这个：
mkdir ./logs
sudo chown `whoami` ./logs
bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template
第一行在当前目录中创建日志目录（如果尚不存在）。第二个将目录的所有者设置为当前用户（您），以便以您的用户身份运行的 flume-ng 可以写入它。
最后，请注意，这不是运行Flume的推荐方式，只是快速尝试一下。
-
我试图建立flume，这样每个代理可以有多个接收器，最终有多个通道和源(现在只看多个通道)。我有一个类似这样的配置文件和一个ruby模板。我不知道如何将功能添加到模板文件中，以便每个代理可以将一个事件发送到多个通道
-
我测试了Apache Flume将文件从本地传输到HDFS。但是，如果源文件来自多个服务器（将文件从不同服务器的本地传输到HDFS），我可以只运行一个Flume实例并将更多代理添加到Flume-conf.property中吗？ 如果可以，如何在 flume-conf.properties 中编辑以下参数： 还有，我怎样才能运行水槽？ 只能运行一个水槽。两个以上呢？
-
我正在构建一个 Spring 启动独立应用程序，该应用程序需要使用来自远程服务器的消息并将其写入 。我正在使用Flume嵌入式代理来可靠地记录消息。但是我收到以下错误。 引起：org.apache.flume.Flume异常：组件类型的com.security.flume.sink.Sy 根据文档仅支持。这是否意味着我们甚至不能编写自定义水槽？ 我对Flume相当陌生。我真的很感谢你在这个问题上的
-
我遇到了Flume的问题（Cloudera CDH 5.3上的1.5）： 我想做的是:每5分钟，大约20个文件被推送到假脱机目录(从远程存储中抓取)。每个文件包含多行，每行是一个日志(在JSON中)。文件大小在10KB到1MB之间。 当我启动代理时，所有文件都被成功推送到HDFS。1分钟后（这是我在flume.conf中设置的），文件被滚动（删除. tmp后缀并关闭）。 但是，当在假脱机目录中找到
-
我创建了一个新文件，但得到以下错误： java.io.FileNotFoundException:C:\users\xxx\ap\metadata\cb_2015-09-01_07-31-01.ini（Sistem belirtilen Dosyay￣Bulam￣Yor)在java.io.fileInputStream.Open0（本机方法）在java.io.fileInputStream.Ope
-
我尝试每5分钟用其他事件刷新. tmp文件，我的源代码很慢，需要30分钟才能在我的hdfs接收器中获取128MB文件。 flume hdfs接收器中是否有任何属性，我可以在将.tmp文件滚动到hdfs之前控制该文件的刷新率。 我需要它使用. tmp文件中的hive表查看HDFS中的数据。 目前我正在查看来自的数据。tmp文件，但是。由于卷大小为128MB，tmp文件长时间不刷新。