水槽-单个代理的多个水槽和渠道
我试图建立flume，这样每个代理可以有多个接收器，最终有多个通道和源(现在只看多个通道)。我有一个类似这样的配置文件和一个ruby模板。我不知道如何将功能添加到模板文件中，以便每个代理可以将一个事件发送到多个通道
共有1个答案
在水槽代理中，您的源基本上将数据推送到多个代理。默认情况下，FlumeNG支持将事件复用到不同的通道中。有两个选项可供选择：
> < li>
复制源:将所有数据从源复制到所有通道
选择性推送:根据某些条件有选择地向您的渠道推送一些数据
flume中的语法如下：
dataplatform.sources.source1.selector.type = replicating (or multiplexing)
（假设代理名称为dataplatform）
您可以通过以下方式将数据从源路由到多个通道：
dataplatform.sources.source1.channels = channel1 channel2 channel3
有关详细信息，请参阅水槽用户指南：https://flume.apache.org/FlumeUserGuide.html
-
我正在尝试将日志从单台机器上的不同目录收集到本地文件系统文件或 HDFS。 我已经注册了 2 个来源 r1、r2。两个源都指向单通道C1。有一个接收器连接到通道。K1 请找到下面的配置文件: 但是当我使用代理 a1 启动 Flume 时，只有一个源 （r2） 正在启动。水槽代理启动日志： 谢谢
-
我的要求是将数据发送到不同的ES接收器（基于数据）。例如：如果数据包含特定信息，则将其发送到sink1，否则将其发送到sink2等（基本上是根据数据动态发送到任何一个接收器）。我还想分别为ES sink1、ES sink2、ES sink3等设置并行度。 有什么简单的方法可以在flink中实现上述目标吗？ 我的解决方案：（但并不满意） 我可以想出一个解决方案，但有中间Kafka主题，我写（topi
-
我测试了Apache Flume将文件从本地传输到HDFS。但是，如果源文件来自多个服务器（将文件从不同服务器的本地传输到HDFS），我可以只运行一个Flume实例并将更多代理添加到Flume-conf.property中吗？ 如果可以，如何在 flume-conf.properties 中编辑以下参数： 还有，我怎样才能运行水槽？ 只能运行一个水槽。两个以上呢？
-
我正在尝试使用hdfs水槽运行水槽。hdfs在不同的机器上正常运行，我甚至可以与水槽机器上的hdfs交互，但是当我运行水槽并向其发送事件时，我收到以下错误： 同样，一致性不是问题，因为我可以使用hadoop命令行与hdfs交互（水槽机不是datanode）。最奇怪的是，在杀死水槽后，我可以看到tmp文件是在hdfs中创建的，但它是空的（扩展名仍然是. tmp）。 关于为什么会发生这种情况的任何想法
-
我正在构建一个 Spring 启动独立应用程序，该应用程序需要使用来自远程服务器的消息并将其写入 。我正在使用Flume嵌入式代理来可靠地记录消息。但是我收到以下错误。 引起：org.apache.flume.Flume异常：组件类型的com.security.flume.sink.Sy 根据文档仅支持。这是否意味着我们甚至不能编写自定义水槽？ 我对Flume相当陌生。我真的很感谢你在这个问题上的
-
我遇到了Flume的问题（Cloudera CDH 5.3上的1.5）： 我想做的是:每5分钟，大约20个文件被推送到假脱机目录(从远程存储中抓取)。每个文件包含多行，每行是一个日志(在JSON中)。文件大小在10KB到1MB之间。 当我启动代理时，所有文件都被成功推送到HDFS。1分钟后（这是我在flume.conf中设置的），文件被滚动（删除. tmp后缀并关闭）。 但是，当在假脱机目录中找到