如何从网关机器运行hadoop集群平衡器？
我写了一个脚本，检查Hadoop块报告，如果需要，它运行Hadoop平衡器。我读了这篇关于hdfs平衡器设计的文章，看起来我们需要在单独的机器上运行hdfs平衡器，这样它就不会重载名称节点。
我的这个理解对不对，请指正。
$ hadoop balancer
Balancing took 135.0 milliseconds
$
ubuntu@master:~$ hadoop balancer
Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved
14/11/19 06:14:03 INFO net.NetworkTopology: Adding a new node: /default-rack/20.232.273.15:50010
14/11/19 06:14:03 INFO net.NetworkTopology: Adding a new node: /default-rack/20.294.195.28:50010
14/11/19 06:14:03 INFO balancer.Balancer: 0 over utilized nodes:
14/11/19 06:14:03 INFO balancer.Balancer: 0 under utilized nodes:
The cluster is balanced. Exiting...
Balancing took 477.0 milliseconds
从这个输出来看，balancer似乎只在NameNode上运行。所以我的问题是我们总是需要只在name节点上运行平衡器吗？还是我们需要做一些配置才能让这个均衡器在网关机器上运行？
共有1个答案
检查集群是否平衡的最佳方法是访问namenode web UI或转到hadoop dfsadmin-report以获取最新的统计信息。不要与时间它已采取或登录控制台。此外，在namenode上运行balancer也不是最佳实践，它应该从客户端节点运行。
-
null 映射器读取每一行（作为键）后，必须复制从hdfs输入名称的视频并存储在从机上，然后程序在视频上运行opencv和ffmpeg然后切换到视频2做同样的事情 hadoop jar/usr/local/lib/hadoop-2.7.3/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar-input/user/root/input-output/u
-
我必须手动在MS Azure中创建Kubernetes群集，而不是使用AKS。因此： > 我在一个可用性集中创建了2个VM：一个用于k8s master，第二个用于k8s节点。 我创建了外部负载均衡器并将2个VM添加到后端池。 我使用kubes祈祷创建了k8s集群。 我创建了部署和负载均衡器服务： 但LoadBalancer服务外部IP始终处于挂起状态： 此外，telnet azure\u loa
-
我正在使用一个安装了docker的docker映像，为了运行任务来清理我的kubernetes集群中每个节点上的docker映像数据。我尝试使用Daemonset，因为它将在除master之外的每个节点上运行，但是在docker容器中运行cron被证明是徒劳的。 因此，我尝试使用K8s Cronjob，它定期运行，具有以下属性： 和 我正在运行一个 shell 脚本，该脚本从上述 CronJob
-
我有两台linux机器，都有不同的配置 机器1：16 GB RAM、4个虚拟内核和40 GB HDD（主从机） 我想运行我的spark应用程序，并尽可能多地利用虚拟内核和内存，但我无法确定是什么设置。 我的spark代码类似于： 到目前为止，我尝试了以下几种： 任何帮助都将不胜感激。
-
当将外部负载平衡器与istio入口网关（分布在不同节点上的多个副本）一起使用时，它如何识别可能命中的istio入口网关，即我可以手动访问任何节点的nodeip:nodeport/endpoint，但外部负载平衡器如何知道所有节点。 这是手动配置的还是负载均衡器从API中使用此信息是否有绕过外部负载均衡器的推荐策略，例如。roundrobin跨知道节点ip/端口的DNS？ 这个问题的根源是——我们如
-
问题内容： 在docker swarm模式（docker engine 1.12+）下，对于该服务，负载均衡算法是什么？ 它可插入吗？ 假设它是轮询的，那么高级负载均衡器是否仍然需要它？由于高级负载均衡器正在使用任何路由算法，因此负载将平均分配到每个节点。 问题答案： 该算法目前是循环的，我还没有迹象表明它是可插入的。较高级别的负载均衡器将允许拆卸群集节点进行维护，但是在群集模式下，循环算法将撤消