当前位置: 首页 > 知识库问答 >
问题:

如何选择zookeeper和regionserver

严成礼
2023-03-14

设置regionserver和zookeeper仲裁的好做法是什么?

我有一个16个节点的小型hadoop集群。按照http://hbase.apache.org/book/example_config.html中给出的示例,我选择16个节点作为regionserver,并选择这些节点的一个子集作为Zookeeper。

但当一个作业由不在与HBase.zookeeper.quorum对应的列表中的节点启动时,我会得到以下错误:

13/08/23 15:40:05信息zookeeper.clientcnxn:正在打开到服务器localhost/0:0:0:0:0:0:0:1:2181的套接字连接。将不尝试使用SASL进行身份验证(未知错误)13/08/23 15:40:05警告Zookeeper.clientCNXn:Session 0x0表示服务器为空,出现意外错误,正在关闭套接字连接并尝试重新连接java.net.connectException:连接在Sun.nio.ch.SocketChannelImpl.CheckConnect(本机方法)在Sun.nio.ch.SocketChannelImpl.FinishConnect(SocketChannelImpl.java:592)在org.apache.Zookeeper.clientCNXnsocketNio.doTransport(将不尝试使用SASL(未知错误)13/08/23 15:40:05 INFO ZooKeeper.clientcnxn:已建立到localhost/127.0.0.1:2181的套接字连接,正在启动会话13/08/23 15:40:05警告ZooKeeper.recoverablezookeeper:可能是暂时的ZooKeeper异常:org.apache.ZooKeeper.keeperexception$connectionlossexception:KeeperErrorCode=ConnectionLoss for/hbase/hbaseid 13/08/23 15:40:05 INFO util.retrycounter:在

所以它尝试连接600秒然后返回

任务尝试_xxx报告状态失败60秒。杀人!

经过几次尝试后,它会更改节点,如果新节点属于zookeeper列表,那么作业将以成功完成。

这正常吗?

我最终将所有节点添加到zookeeper列表中,但我想知道这是否是一个好的做法。另外,是否存在区域服务器列表与节点列表不同的情况?

谢谢

共有1个答案

吴西岭
2023-03-14

不,看起来你做的不是一个好的练习。对于一个16 RS集群,1个ZK节点就可以了。

查看ZK管理指南:

要使ZooKeeper服务处于活动状态,必须有大多数能够相互通信的非故障机器。要创建一个能够容忍F台机器失败的部署,您应该指望部署2xF+1台机器。因此,由三台计算机组成的部署可以处理一个故障,由五台计算机组成的部署可以处理两个故障。请注意,部署六台计算机只能处理两个故障,因为部署三台计算机并不是大多数故障。由于这个原因,ZooKeeper的部署通常由奇数台机器组成。

虽然它没有在那里说,一个ZK集群应该不大于7个节点。在推荐的节点数为奇数的情况下,剩下的选项是1、3、5和7。同样,对于像您这样的小集群,1应该足够了,但是3将给您弹性。5可能是矫枉过正。7肯定是。

另外,看看您粘贴的错误:

java.net.ConnectException: Connection refused

这似乎表明:

  • Hadoop配置错误:您指向了错误的服务器/端口,或者服务当前未运行,或者更可能是-
  • 网络配置错误,如防火墙(如iptables运行)
 类似资料:
  • 我想调用一个函数时,选择的任何选项。类似于这样: 但不知何故不起作用。有人能帮忙吗。 请注意 我不想捕获更改事件,如果我选择已经选择选项,则不会触发更改事件

  • 问题内容: 我正在尝试编写一个项目。在我的项目中,我可以成功拖动图像。 这是图片,这是我的ViewOnTouchListener代码: 请看图片 ,这是我的DragView代码: 一切都好。但是我需要做的是,当用户单击图像(贴纸)时,阴影和边框消失。当用户再次单击图像时,它们会再次出现。我不知道该怎么办。 问题答案: 最后,我找到了正确的答案。我认为这可能会有所帮助。所以我分享。首先,我在Drag

  • 本文向大家介绍Zookeeper 如何选举master 主节点?相关面试题,主要包含被问及Zookeeper 如何选举master 主节点?时的应答技巧和注意事项,需要的朋友参考一下 还记得上面我们的所说的临时节点吗?因为 的强一致性,能够很好地在保证 在高并发的情况下保证节点创建的全局唯一性 (即无法重复创建同样的节点)。 利用这个特性,我们可以 让多个客户端创建一个指定的节点 ,创建成功的就是

  • 问题内容: 我正在使用普通js来更改label元素的内部文本,但是我不确定应该基于什么理由使用innerHTML或nodeValue或textContent。我不需要创建新节点或更改HTML元素或其他任何内容,只需替换文本即可。这是代码示例: 我浏览了jQuery源,它只使用一次nodeValue,但是多次使用innerHTML和textContent。然后,我发现此jsperf测试表明first

  • 本文向大家介绍精灵图和base64如何选择?相关面试题,主要包含被问及精灵图和base64如何选择?时的应答技巧和注意事项,需要的朋友参考一下 css精灵,用于一些小的图标不是特别多,一个的体积也稍大,比如大于10K (这个没有严 格的界定)。 base64,用于小图标体积较小(相对于css精灵),多少都无所谓。字体图标,用于一些别 人做好的图标库(也有少数自己去做的)用起来比较方便,他的图标只能

  • 本文向大家介绍精灵图和base64如何选择呢?相关面试题,主要包含被问及精灵图和base64如何选择呢?时的应答技巧和注意事项,需要的朋友参考一下 精灵图 优点 将多个图像加载请求合并为一个请求 弊端 难以维护和更新 增加内存消耗 base64 优点 将多个图像加载请求合并为一个CSS文件请求 轻松更新生成文件 弊端 base64编码比原始二进制表示大约大25% IE6或IE7不支持