《吐槽》专题

我需要帮助。 我已经下载了Apache Flume并安装在Hadoop之外，只是想尝试通过控制台进行netcat日志记录。我使用1.6.0版本。 这是我的confhttps://gist.github.com/ans-4175/297e2b4fc0a67d826b4b 这是我是如何开始的 但是仅在打印这些输出后就卡住了 对于简单的启动和安装有什么建议吗？ 谢谢

刚开始学习Apache Flume。我遵循Flume官方入门网站上的说明： https://cwiki.apache.org/confluence/display/FLUME/Getting开始 按照上面链接上的说明操作后，几乎一切都很好。但是后来我找不到任何日志文件。我想日志文件在{flume.directory}/logs下。有办法找到水槽日志文件吗？ 这是我的log4j.properties

我想将csv文件从一台服务器（Unix服务器A）发送到hdfs目录。根据哪些csv文件，我想将它们放在hdfs中的不同目录中。 我有一个11个csv文件，将由unix服务器A上的kafka制作人发送到kafka。csv文件的第一个元素将包含一个键。我想取第一个元素并使其成为kafka消息的键。此外，我想将数据的值作为kafka中的消息发送。 当它到达kafka集群时，将有一个水槽代理获取数据，并拦

我正在使用 flume 1.8.0，它会自动关闭，任何人都可以帮助我。 在 JAVA 8 上运行 JAVA_OPTS=“-服务器 -Xms4g -Xmx4g” 配置在水槽中 使用以下命令启动 flume ./bin/flume-ng agent --conf conf --conf-file ./conf/flume-conf-postgresql.properties --name dfm-to

我有一个将数据摄取到elasticsearch中的水槽代理。该代理正在使用源代码。还有另一个代理将文件写入elasticsearch代理的spolDir。 随着时间的推移，文件会增加，已处理文件和未处理文件之间的差异也会增加。 我想增加水槽代理处理的事件数量，以加速摄取过程。 这是水槽代理的配置。 代理04.sources=s1 agent04.channels=ch1 agent04.chann

我测试了Apache Flume将文件从本地传输到HDFS。但是，如果源文件来自多个服务器（将文件从不同服务器的本地传输到HDFS），我可以只运行一个Flume实例并将更多代理添加到Flume-conf.property中吗？ 如果可以，如何在 flume-conf.properties 中编辑以下参数： 还有，我怎样才能运行水槽？ 只能运行一个水槽。两个以上呢？

我正在使用flume将本地文件源到HDFS接收器，下面是我的conf： 我使用用户“flume”来执行这个conf文件。 但它显示我找不到本地文件，权限被拒绝 如何解决这个问题？

我有一个问题。我使用apache flume从txt文件中读取日志，并将其存储到hdfs中。不知何故，一些记录在阅读时被跳过了。我正在使用fileChannel，请检查以下配置。 请帮帮忙。

现在我正在一个项目中工作，我们试图使用 flume 读取 tomcat 访问日志并在 Spark 中处理这些数据并以正确的格式将它们转储到数据库中。但问题是tomcat访问日志文件是每日滚动文件，文件名每天都会更改。像... 源代码部分的flume-conf文件如下 它在一个固定的文件名上运行tail命令(我使用了固定的文件名，只是为了测试)。如何在flume conf文件中将文件名作为参数传递？

我正在尝试使用apache flume将数据加载到hbase中。当我使用flume将数据传输到hadoop时，它工作得很好。但是当我启动flume代理将数据加载到hbase时，我得到了NoClassDefFoundError。 这是我的水槽配置: flume-env.sh 代理4.conf

我有一个看似简单的水槽配置，却给我带来了很多问题。让我先描述一下问题，然后列出配置文件。 我有 3 台服务器：服务器 1、服务器 2、服务器 3。 Server1：Netcat源代码/S Server2,3:Avro源内存通道Kafka接收器 在我的模拟中，服务器2模拟“生产”，因此不会出现任何数据丢失，而服务器3模拟“开发”，数据丢失是正常的。我的假设是，使用2个通道和2个源将使两个服务器相互解

我想在我的Windows 10上安装水槽代理，以便将日志放入安装在虚拟机上的hortonworks沙盒中。我参考这个链接做了所有设置-https://gudisevablog.wordpress.com/2016/12/08/apache-flume-windows-10/但是当我运行这个时出现了一些问题 命令 - “ flume-ng agent –conf %FLUME_CONF% –conf

我试图将FLUME与HDFS集成，我的FLUME配置文件是 我的核心站点文件是 当我尝试运行flume代理时，它正在启动，并且能够从nc命令中读取，但是在写入hdfs时，我得到了下面的异常。我尝试使用< code > Hadoop DFS admin-safe mode leave 在安全模式下启动，但仍然出现以下异常。 如果在任何属性文件中配置了错误，请告诉我，以便它可以工作。 另外，如果我为此

我正在使用水槽从kafka主题HDFS文件夹加载消息。所以， 我创建了一个主题 TT 我通过Kafka控制台制作人向 TT 发送了消息 我配置了水槽代理 FF 运行 flume agent flume-ng agent -n FF -c conf -f flume.conf - Dflume.root.logger=INFO，console 代码执行停止，没有错误，并且不会向 HDFS 写入任何内

我使用flume-ng 1.5版本来收集日志。 数据流中有两个代理，它们分别位于两个主机上。 数据从代理1发送到代理2。 代理的组件如下： 代理1:假脱机目录源- 代理2: avro源- 但是它似乎丢失了大约百万数据千分之一的数据。为了解决问题，我尝试了以下步骤： 查找代理日志：找不到任何错误或异常。 查找代理监视指标：从通道中放置和获取的事件数始终相等 按Hive查询和HDFS文件使用shell