阿帕奇水槽多代理
我测试了Apache Flume将文件从本地传输到HDFS。但是，如果源文件来自多个服务器（将文件从不同服务器的本地传输到HDFS），我可以只运行一个Flume实例并将更多代理添加到Flume-conf.property中吗？
如果可以，如何在 flume-conf.properties 中编辑以下参数：
agent1.sources.spooldirSource1.spoolDir = ?(server1/path)
agent2.sources.spooldirSource2.spoolDir = ?(server2/path)
还有，我怎样才能运行水槽？
./flume-ng agent -n agent -c conf -f apache-flume-1.4.0-bin/conf/flume-conf.properties
只能运行一个水槽。两个以上呢？
共有2个答案
对两个源使用相同的通道并不是很好的做法，您可以很容易地为通道（对于MemoryChannel）获得ofMemory，在这种情况下。最好为每个源使用一个通道（对于相同的代理）
a1.sources = r1 r2
a1.sinks = k1 k2
a1.channels = c1 c2
然后将源r1链接到信道c1，将源r2链接到信道c 2
为您需要的内容添加多个源，但将它们配置为使用相同的通道-然后将使用相同的源。所以它就像（请注意，此片段不完整）：
agent1.sources.spooldirSource1.spooldir = server1/path
agent1.sources.spooldirSource1.channel = myMemoryChannel
agent1.sources.spooldirSource2.spooldir = server2/path
agent1.sources.spooldirSource2.channel = myMemoryChannel
-
我正在使用 flume 1.8.0，它会自动关闭，任何人都可以帮助我。 在 JAVA 8 上运行 JAVA_OPTS=“-服务器 -Xms4g -Xmx4g” 配置在水槽中 使用以下命令启动 flume ./bin/flume-ng agent --conf conf --conf-file ./conf/flume-conf-postgresql.properties --name dfm-to
-
我试图从JMS源读取数据，并将它们推送到KAFKA主题中，几个小时后，我观察到推送到KAFKA主题的频率几乎为零，经过一些初步分析，我在FLUME日志中发现以下异常。 my flume显示max.request的当前设置值（在日志中）。尺寸为1048576，明显小于1399305，增加了此最大要求。大小可能会消除这些异常，但我无法找到更新该值的正确位置。 我的水槽。配置， 任何帮助都将不胜感激！！
-
Apache Kafka：分布式消息传递系统 Apache Storm：实时消息处理 我们如何在实时数据管道中使用这两种技术来处理事件数据？ 在实时数据管道方面，我觉得两者做的工作是一样的。如何在数据管道上同时使用这两种技术？
-
1.
-
我正在使用Flink从Apache Pulsar读取数据。我在pulsar中有一个分区主题，有8个分区。在本主题中，我生成了1000条消息，分布在8个分区中。我的笔记本电脑中有8个内核，因此我有8个子任务（默认情况下，并行度=#个内核）。在执行Eclipse中的代码后，我打开了Flink UI，发现一些子任务没有收到任何记录（空闲）。我希望所有8个子任务都能得到利用（我希望每个子任务都映射到我的主
-
我有阅读持续增长的问题。txt文件。我知道我可以从网上读到一些东西，比如说 但是如何用文本文件做呢？我应该传递什么而不是netcat？