当前位置: 首页 > 知识库问答 >
问题:

边缘节点上的 Apache Flume 设置说明

丘智志
2023-03-14

试图在边缘节点上设置Flume,我通过许多博客进行了检查,但没有太多的想法,因为他们中的大多数人都指的是单个节点集群,有人建议在边缘节点上设置是个好主意,或者这将在HDFS或任何工作节点设置的服务器上(数据节点),如果是,那么在边缘节点上设置这个是什么配置。

共有2个答案

梁丘高朗
2023-03-14

如果这是生产环境,最好避免使用 NameNode 服务器、资源管理器服务器、日志节点和数据节点。这就给你留下了边缘节点。

该过程将是:
1)安装Hadoop客户端
2)安装水槽
3)在水槽中配置水槽。conf文件(或您想要的任何名称)。您可以在网上找到许多示例配置
4)将监控类型设置为http以快速检查性能数据
5)打开源和接收器的端口
5)启动代理
6)检查代理日志以查看已启动的所有组件
7)尝试发送一些样本数据,并检查其是否到达目的地
8)调试任何故障。

如果你需要更多的信息,请告诉我。

周育
2023-03-14

正如Viren在边缘节点上的生产环境中所建议的那样,您只需要配置水槽,这不是您在namenode服务器上无法做到的,但我们需要避免性能问题。

 类似资料:
  • 前言 为了配置kubernetes中的traefik ingress的高可用,对于kubernetes集群以外只暴露一个访问入口,需要使用keepalived排除单点问题。本文参考了kube-keepalived-vip,但并没有使用容器方式安装,而是直接在node节点上安装。 定义 首先解释下什么叫边缘节点(Edge Node),所谓的边缘节点即集群内部用来向集群外暴露服务能力的节点,集群外部的

  • 我有一个“用户”顶点,其中有几个用户。我有一个“邀请”顶点,它基本上讲述了一个用户发送给另一个用户的邀请。我有一个“sentTo”边,将邀请顶点与用户顶点(邀请的接收者)连接起来。我有一个“sentBy”边,将邀请顶点连接到用户顶点(发送邀请的用户)。sentBy edge有一个“on”属性,它是一个日期对象。sentBy edge还具有“inviterCount”属性,基本上是收件人用户(接收邀

  • 我正在使用cytoscape来显示我用GraphViz制作的一个图表。我从cytoscape应用商店安装了附加的点应用程序,以便能够加载我的图表。 我的图形加载完美,所有的边都连接到所需的节点。但是我的节点和边的属性没有显示出来。 下面是一个不起作用的简化示例(少了属性、节点和边): 你知道为什么我的属性不能加载吗?我试着在我的图上破坏和创建视图,但它什么也做不到。两个图的节点表都只有“共享名”和

  • 我有一个JavaFX应用程序,它首先计算一些数据,然后在LineChart上添加datapoints。我想在节点上添加一个ClickListener,如果用户单击图上的任何节点,相应的值将出现在TableView或其他东西中。但我无法检索节点的值。 代码如下: EventListener的代码: 我还尝试在LineChart上设置监听器,但在事件-对象中找不到相应的节点信息,如value等。

  • 问题内容: 我尝试在Google Container Engine的群集节点上安装ElasticSearch(最新版本),但是ElasticSearch需要变量:>> 262144。 如果我ssh到每个节点并手动运行: 一切正常,但是任何新节点将没有指定的配置。 所以我的问题是: 有没有办法在引导时在每个节点上加载系统配置?Deamon Set并不是一个好的解决方案,因为在Docker容器中,系统

  • 我想从一个非常不寻常的输入中构造一个二叉树。输入包含: > 节点总数。 根的整数标签。 所有边(相互连接的顶点/节点)的列表。列表中的边缘是未排序的,只有一个规则用于确定左/右子项 - 列表中首先出现的边缘中的子项始终位于左侧。顶点对中子/父的顺序也是随机的。 我已经提出了一些直截了当的解决方案,但它们需要通过所有边缘的列表进行多次搜索(我基本上会找到具有标记根的2个边缘,并对所有子树重复此过程。