嵌入式水槽代理是否需要hadoop才能在集群上运行？
我正试图在我的web服务中编写嵌入式flume代理，以将我的日志转移到另一个运行flume代理的hadoop集群。要使用嵌入式flume代理，我们需要hadoop在我的web服务运行的服务器上运行吗？
共有1个答案
TLDR：我想，不。
较长的版本：我还没有检查，但在开发人员指南（https://flume.apache.org/FlumeDeveloperGuide.html#embedded-agent）中它说
注意：嵌入式代理依赖于hadoop-core.jar。
(https://flume.apache.org/FlumeDeveloperGuide.html#embedded-代理）
在用户指南（https://flume.apache.org/FlumeUserGuide.html#hdfs-sink）中，您可以指定HDFS路径：
HDFS目录路径（如hdfs://namenode/flume/webdata/）
另一方面，您确定要使用嵌入式代理而不是运行Flume来放置数据并使用HTTP源吗？(https://flume.apache.org/FlumeUserGuide.html#http-source）（…或您可以向其发送数据的任何其他来源）
-
我正在构建一个 Spring 启动独立应用程序，该应用程序需要使用来自远程服务器的消息并将其写入 。我正在使用Flume嵌入式代理来可靠地记录消息。但是我收到以下错误。 引起：org.apache.flume.Flume异常：组件类型的com.security.flume.sink.Sy 根据文档仅支持。这是否意味着我们甚至不能编写自定义水槽？ 我对Flume相当陌生。我真的很感谢你在这个问题上的
-
我有25-20个代理将数据发送给几个收集代理，然后这些收集代理必须将数据写入HDFS。 在哪里运行这些收集器代理？在Hadoop集群的Data节点上还是集群外？每种方法的优点/缺点是什么？人们目前是如何运行它们的？
-
我想在我的Windows 10上安装水槽代理，以便将日志放入安装在虚拟机上的hortonworks沙盒中。我参考这个链接做了所有设置-https://gudisevablog.wordpress.com/2016/12/08/apache-flume-windows-10/但是当我运行这个时出现了一些问题 命令 - “ flume-ng agent –conf %FLUME_CONF% –conf
-
问题内容： 我对我的Elasticsearch集群如何处理流量感到有些困惑。我在群集中连接了多个EC2实例。现在，在我的应用程序中，我将其设置为通过实例之一的ip连接到集群。我知道此节点随后可以与集群中的所有其他节点连接并进行适当的转发，但是由于所有流量最初都定向到该节点时，该特定实例是否不会变得过重？我必须先使用负载均衡器，然后将应用程序指向该负载均衡器，还是我不能正确理解这一点？ 谢谢！:)
-
我试图创建一个lazy-loaded嵌入式youtube视频，其中有一个自定义图标作为播放按钮。它已成功创建，甚至在桌面视图中正常工作。在桌面上，当我点击播放按钮，一旦视频开始。 然而，当我在移动视图上打开页面，点击播放按钮时，它不会播放，而且在第一次点击之后，它显示的是youtube默认播放按钮。之后，当我点击Youtube默认播放按钮时，它就开始播放视频。 我想只点击一次在手机上播放视频。请帮
-
我试图建立flume，这样每个代理可以有多个接收器，最终有多个通道和源(现在只看多个通道)。我有一个类似这样的配置文件和一个ruby模板。我不知道如何将功能添加到模板文件中，以便每个代理可以将一个事件发送到多个通道