《吐槽》专题
-
拦截水槽剂
我有一个要求，我想运行以假脱机目录作为源的 Flume 代理。将假脱机目录中的所有文件复制到 HDFS（sink） 后，我希望代理停止，因为我知道所有文件都被推送到通道。我还想每次为不同的假脱机目录运行此步骤，并在目录中的所有文件都标记为 .完成。有没有办法停止水槽剂？
-
水槽加载csv文件Excels到hdfs接收器
我已将Flume源配置为Spooldir类型。我有很多CSV文件，.xl3和.xls，我希望我的Flume代理将所有文件从假脱机程序加载到HDFS接收器。然而，水槽代理返回异常 这是我对水槽源的配置： 和我的HDFS接收器：
-
使用水槽获取推文时出现问题我可以用水槽获取推文，但是，流式传输的语言不是我想要的。下面是flume.conf文件 我收到的推文如下所示： 有人能建议我需要做的改变吗？
-
水槽在一行2048个字符后添加换行符
我有一个在 Ubuntu 工作站上运行的 Flume 1.5 代理，它从各种设备收集日志并将日志重新格式化为具有很长行的逗号分隔文件。在收集和重新格式化日志后，它们被放入假脱机目录中，Flume 代理将日志文件发送到运行 Flume 代理的 Hadoop 服务器，以接受日志文件并将它们放在 HDFS 目录中。 除了当Flume将文件发送到HDFS目录时，每行每2048个字符后有换行符之外，一切都正
-
只有一个文件从kafka到hdfs与水槽
我正在尝试通过水槽从kafka将数据放入hdfs中。kafka_producer每10秒发送一条消息。我想在hdfs上的一个文件中收集所有消息。这是我使用的水槽配置，但它在hdfs上存储了许多文件（一个用于消息）： 附言我从一个文件开始.csv。kafka 生产者获取文件并选择一些感兴趣的字段，然后每 10 秒发送一个条目。Flume将条目存储在Hadoophdfs上，但存储在许多文件中（1个条目
-
在哪里运行写入 HDFS 的水槽代理？
我有25-20个代理将数据发送给几个收集代理，然后这些收集代理必须将数据写入HDFS。 在哪里运行这些收集器代理？在Hadoop集群的Data节点上还是集群外？每种方法的优点/缺点是什么？人们目前是如何运行它们的？
-
水槽代理未在不同的机器上连接
水槽代理1没有连接到水槽代理2。原因可能是什么？ 我正在使用Flume使用2代理将日志文件流式传输到HDFS。第一个代理位于存在日志文件的源机器上，而第二个代理位于安装Hadoop的机器上（IP地址10.10.201.40）。 第一个代理（flume-src-agent.conf）的配置文件如下： 第二个代理（flume-trg-agent.conf）的配置文件如下： 当第一个代理运行时，我收到以
-
使用水槽读取IBM MQ数据
我想从IBM MQ中读取数据，并将其放入HDFs。 查看了 JMS 的水槽源，似乎它可以连接到 IBM MQ，但我不明白所需属性列表中的“destinationType”和“destinationName”是什么意思。有人可以解释一下吗？ 还有，我应该如何配置我的水槽代理 flumeAgent1(在与MQ相同的机器上运行)读取MQ数据——flumeAgent2(在Hadoop集群上运行)写入Hdf
-
嵌入式水槽代理是否需要hadoop才能在集群上运行？
我正试图在我的web服务中编写嵌入式flume代理，以将我的日志转移到另一个运行flume代理的hadoop集群。要使用嵌入式flume代理，我们需要hadoop在我的web服务运行的服务器上运行吗？
-
水槽配置file_roll
我对Flume和/或log4j有问题。我有带log4j和flume appender的JavaEE应用程序=一切都很好，工作正常。 当我用下面的配置运行水槽时，一切都很好。 这里是flume配置文件 如果我将接收器从 hdfs 更改为 file_roll，则水槽代理会创建日志文件，但没有任何内容。这是来自水槽的新 conf-file。 我的错误是什么？
-
水槽HDFS-200追加
https://cwiki.apache.org/confluence/display/FLUME/Getting 开始的页面说 HDFS sink 支持追加，但我无法找到有关如何启用它的任何信息，每个示例都在滚动文件上。因此，如果可能的话，我将不胜感激有关如何将水槽附加到现有文件的任何信息） 使现代化 可以将所有滚动属性设置为0，这将使flume写入单个文件，但它不会关闭文件，新记录对其他进程不
-
Apache Flume Hdfs水槽
我们可以为HDFS Sink添加分隔符吗？写入文件时，我们如何添加记录分隔符？ 以下是配置：-
-
使用水槽将文件从假脱机目录移动到HDFS
我正在为我公司的 POC 实施一个小型 hadoop 集群。我正在尝试使用Flume将文件导入HDFS。每个文件都包含如下 JSON 对象（每个文件 1 个“长”行）： “objectType”是数组中对象的类型（例如：事件、用户…）。 这些文件稍后将由多个任务根据“对象类型”进行处理。 我正在使用spoolDir源和HDFS接收器。 我的问题是： > 当flume写入HDFS时，是否可以保留源文
-
水槽假脱机目录重命名文件。甚至在水槽代理开始假脱机之前完成
我有我有水槽代理如下 假脱机目录中的文件将自动重命名为 。已完成，文件应重命名为 。在水槽代理将该文件写入 HDFS 后完成，但在我的情况下，它将文件重命名为 .在代理运行之前已完成。它还将文件重命名为 .即使我只是手动将文件复制到假脱机目录，也已完成。 还有一个问题是删除策略即使在文件复制到HDFS后也不会删除文件。 代理将假脱机目录文件随机写入HDFS。 它还在HDFS创建了大量的tmp文件。
-
如何使水槽加载文件到HDFS，HDFS从不关闭文件.tmp并按名称重命名文件。
实际上我有两个问题，我的第一个问题是：在整个文件被水槽代理刷新后，如何使HDFS关闭文件（例如。123456789.tmp）。事实上，直到我强制水槽代理停止，文件才会关闭。我相信有一种使用以下4个参数的方法： 我的第二个问题是，我的代理flume从SFTP服务器接收文件，而我需要将每个文件名保存在hdfs中。它适用于spooldir类型，但不适用于SFTP！!有什么想法吗？ 我的水槽代理配置文件如