当前位置: 首页 > 知识库问答 >
问题:

使用HDFS存储HBase数据时出错

姚棋
2023-03-14

当我将hbase-site.xml中的hbase.rootdir配置设置为本地文件系统(如file:/hbase_root_dir_path)时,hbase工作正常,但当我将其更改为hdfs:/localhost:9000/hbase时,hbase开始时也正常。但过了一小段时间(通常是几秒钟),它就不起作用了。我发现HMaster用jps命令停止了。当然,我无法打开localhost:60010网页。我读了日志,发现了如下错误:


INFO org.apache.zookeeper.server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x13e35b26eb80001 type:delete cxid:0x13 zxid:0xc txntype:-1 reqpath:n/a Error Path:/hbase/backup-masters/localhost,35320,1366700487007 Error:KeeperErrorCode = NoNode for /hbase/backup-masters/localhost,35320,1366700487007
INFO org.apache.zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2182. Will not attempt to authenticate using SASL (unknown error)
ERROR org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler: Failed open of region=person,,1365998702159.a5af90c23325829096517fb3b15bca17., starting to roll back the global memstore size.
java.lang.IllegalStateException: Could not instantiate a region instance.
WARN org.apache.zookeeper.ClientCnxn: Session 0x13e35b26eb80002 for server null, unexpected error, closing socket connection and attempting reconnect

我在Ubuntu12.04 LTS中使用了hbase的伪分布式模式。在my/etc/hosts中,我已经将hostname的IP更改为127.0.0.1。我的hadoop安全模型状态为OFF。我的hadoop版本是1.0.4,我的hbase版本是0.94.6.1(这两个版本都是最新的稳定版本),hbase参考指南说hbase-0.94.x可以与Hadoop-1.0.x一起工作。
我认为HDFS导致了这个问题,因为它真的可以与本地文件系统一起工作。顺便说一下,有一个HBASE-X.x.x-安全版本,它和HBASE-X.x.x版本有什么区别,我需要使用安全版本吗?

共有1个答案

阎麒
2023-03-14

你规定了动物园管理员的法定人数吗?看起来Zookeeper正在尝试连接到您的本地主机。

尝试使用hbase-site.xml中的hbase.zookeeper.quorum属性设置您不想使用的计算机的地址。此外,如果您没有管理自己的Zookeeper实例,请确保在hbase-env.sh中没有注释这一行export hbase_manages_zk=true

 类似资料:
  • 简介 注意:Xiaomi Cloud-ML服务访问HDFS数据,由于各个机房和用户网络环境差别,请首先联系Cloud-ML开发人员,咨询Cloud-ML服务是否可以访问特定的HDFS集群。 使用Docker容器 我们已经制作了Docker镜像,可以直接访问c3prc-hadoop集群。 sudo docker run -i -t --net=host -e PASSWORD=mypassword

  • 我是Hadoop的新手,需要将Hadoop数据存储到MongoDB中。在这里,我使用Pig将Hadoop中的数据存储到MongoDB中。 在给定命令的帮助下,我在Pig Grunt shell中下载并注册了以下驱动程序, 在此之后,我使用以下命令成功地从MongoDB获取了数据。 然后,我尝试使用以下命令将数据从pig bag插入MongoDB,并获得成功。 然后我尝试使用下面的命令Mongo更新

  • 简介 HDFS FUSE是基于FUSE的文件系统,允许挂载HDFS上的文件目录到本地文件系统。用户读写本地文件,后台会自动同步到HDFS上。 开发环境中使用HDFS FUSE用法与训练任务类似,训练任务中对应部分可参考 在TrainJob中使用HDFS FUSE 。 目前,下列框架和版本中已经集成了HDFS FUSE功能。 Tensorflow 1.6.0-xm1.0.0 (docker imag

  • 我对Hadoop(HDFS和Hbase)和Hadoop生态系统(Hive、Pig、Impala等)相当陌生。我已经很好地理解了Hadoop组件,如NamedNode、DataNode、Job Tracker、Task Tracker,以及它们如何协同工作以高效的方式存储数据。 null

  • 我尝试使用Flume 1.7将数据加载到HDFS中。我创建了以下配置: 之后,我使用 netcat 将以下文件发送到源: 该文件包含以下元素: 我面临的问题是,没有任何错误,flume正在写入hdfs,但只有一行传输的文件。如果您开始使用nectat多次将文件推送到源文件,那么有时flume会将多个文件写入hdfs,包括多个行。但很少是所有行。 我试图改变hdfs参数roll大小,批量大小和其他,

  • 本文向大家介绍JavaScript使用localStorage存储数据,包括了JavaScript使用localStorage存储数据的使用技巧和注意事项,需要的朋友参考一下 1 概述 JavaScript提供2个方法在浏览器端储存数据:sessionStorage 和 localStorage。 sessionStorage:保存的数据用于浏览器的一次会话,当会话结束(通常是该窗口关闭),数据被