《flume》专题

我已经编写了一个Java应用程序，它可以构建flume配置文件，并将它们写入Linux机器上的磁盘。然后，应用程序构建flume命令，并尝试通过运行以下代码中的命令来启动flume代理: 如果我接受flume命令并通过终端手动执行它，它工作得很好。当java应用程序尝试执行flume命令时，什么都没有发生。这是类路径问题吗？ Flume Command here： /root/flume-flum

我使用以下命令启动代理 bin/flume-ng agent --conf ./conf/ -f conf/twitter.conf Dflume.root.logger=DEBUG，console -n TwitterAgent 我的错误消息是 我的 twitter.conf 属性文件如下 我的flume-env.sh文件 我在 flume-env.sh 文件中有更新导出JAVA_OPTS=“-

我有一个Flume组件在监听Syslog流。我做了一个自定义的拦截器来修改调用，但它不起作用。我做错了什么？谢谢你，Andrea 拦截器是一个编译良好的JAR文件，位于@FLUME_HOME/bin目录中 系统将事件记录在文件中而不修改它们，这是相关的DEBUG日志：

我正在尝试使用Apache Flume构建管道：Spooldir- 事件毫无问题地进入kafka主题，我可以使用kafkacat请求看到它们。但是kafka通道无法通过接收器将文件写入hdfs。错误是： 等待来自 Kafka 的数据时超时 完整日志： 2016-02-26 18：25：17，125 （SinkRunner-PollingRunner-DefaultSinkProcessor-Sen

我需要从某个来源读取数据流（在我的情况下是UDP流，但这无关紧要），转换每条记录并将其写入HDFS。 使用Flume或Flink有什么区别吗？ 我知道我可以将 Flume 与自定义拦截器一起使用来转换每个事件。 但我是 Flink 的新手，所以对我来说，看起来 Flink 也会这样做。 选哪个比较好？性能有区别吗？ 拜托，救命啊！

试图在边缘节点上设置Flume，我通过许多博客进行了检查，但没有太多的想法，因为他们中的大多数人都指的是单个节点集群，有人建议在边缘节点上设置是个好主意，或者这将在HDFS或任何工作节点设置的服务器上（数据节点），如果是，那么在边缘节点上设置这个是什么配置。

我知道Enterprise（例如Cloudera）的方式，通过使用CM（通过浏览器）或Cloudera REST API可以访问监控和配置设施。 但是，如何在没有CM的情况下安排（运行和重新运行）水槽代理实时循环，并监控其运行/故障状态？水槽分布中有这样的东西吗？

我有一个运行在CDH 5.8.3中的水槽代理。如果发送了3个以上的有效文件，它会在写入hdfs时创建多个.tmp文件。有一个拦截器在hdfs接收器之前将有效的xmls路由到适当的主题。这名特工正在使用弗拉夫卡。拦截器和Kafka工作正常。

我一整天都在不断收到这个日志信息。 2016-10-12 21:32:05，696(conf-file-poller-0)[DEBUG-org . Apache . FLUME . node . pollingpropertiesfileconfigurationprovider $ filewatcherrunnable . run(pollingpropertiesfileconfigurat

我正在尝试配置Flume（Cloudera CDH-5.11.0中的1.6）代理，以使用IBM WebSphere MQ 9.1.1.0作为源。 由于没有官方留档，我遵循了这些资源（尽管它们来自旧版本）： http://wpcertification.blogspot.com/2015/08/configure-flume-to-use-ibm-mq-as-jms.html https://com

水槽新手。 假设我有一个代理，它有一个 avero 源、一个 hdfs 接收器和一个文件通道。 假设在某个时候接收器无法写入hdfs。源是否会继续接受事件，直到通道填满？ 或者即使文件通道未满，源也会停止接受事件吗？

我正在尝试实现一个简单的Flume HDFS接收器，它将从Kafka通道获取事件，并将它们作为文本文件写入HDFS。 建筑非常简单。这些事件从twitter流式传输到kafka主题，flume hdfs sink确实会将这些事件写入hdfs。这是Kafka-制片人斯塔科弗洛问题的第二部分。 当我执行这个命令时没有出现错误，看起来运行得很好，但是我看不到hdfs中的文本文件。我无法调试或调查，因为在

某些HDFS接收器文件未关闭 有人说，如果接收器进程因超时条件等问题而失败，它不会再次尝试关闭文件。 我已经查看了水槽日志文件，但没有错误。然而，日志文件显示，每个周期，flume生成两个tmp文件，只关闭一个tmp。。。 对于配置的任何建议将不胜感激！谢谢！

如果在配置中没有指定源，它会报错。根据文件: Kafka 通道可用于多种场景： > 使用Flume源和汇-它为事件提供了可靠且高度可用的通道 使用Flume源和拦截器，但没有接收器-它允许将Flume事件写入Kafka主题，供其他应用程序使用 使用Flume接收器，但没有源-这是一种低延迟、容错的方式，可以将事件从Kafka发送到Flume接收器，例如HDFS、HBase或Solr https:/

我用的是Flume 1.7.0和HDFS水槽。我将Flume配置为将数据放在HDFS的日期目录中，这样当新的一天到来时，它会自动更改目录。问题是我把flume设置为按文件大小(240MB)滚动，但是flume离开了。tmp文件，当目录改变时。似乎flume改变到新的一天的目录，而没有关闭未完成的文件(小于240MB)。 例如。如果我启动3个水槽代理。然后当水槽代理更改为新目录20180411时，目