使用HDFS存储HBase数据时出错
当我将hbase-site.xml中的hbase.rootdir配置设置为本地文件系统（如file:/hbase_root_dir_path）时，hbase工作正常，但当我将其更改为hdfs:/localhost:9000/hbase时，hbase开始时也正常。但过了一小段时间（通常是几秒钟），它就不起作用了。我发现HMaster用jps命令停止了。当然，我无法打开localhost:60010网页。我读了日志，发现了如下错误：
INFO org.apache.zookeeper.server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x13e35b26eb80001 type:delete cxid:0x13 zxid:0xc txntype:-1 reqpath:n/a Error Path:/hbase/backup-masters/localhost,35320,1366700487007 Error:KeeperErrorCode = NoNode for /hbase/backup-masters/localhost,35320,1366700487007
INFO org.apache.zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2182. Will not attempt to authenticate using SASL (unknown error)
ERROR org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler: Failed open of region=person,,1365998702159.a5af90c23325829096517fb3b15bca17., starting to roll back the global memstore size.
java.lang.IllegalStateException: Could not instantiate a region instance.
WARN org.apache.zookeeper.ClientCnxn: Session 0x13e35b26eb80002 for server null, unexpected error, closing socket connection and attempting reconnect
我在Ubuntu12.04 LTS中使用了hbase的伪分布式模式。在my/etc/hosts中，我已经将hostname的IP更改为127.0.0.1。我的hadoop安全模型状态为OFF。我的hadoop版本是1.0.4，我的hbase版本是0.94.6.1（这两个版本都是最新的稳定版本），hbase参考指南说hbase-0.94.x可以与Hadoop-1.0.x一起工作。
我认为HDFS导致了这个问题，因为它真的可以与本地文件系统一起工作。顺便说一下，有一个HBASE-X.x.x-安全版本，它和HBASE-X.x.x版本有什么区别，我需要使用安全版本吗？
共有1个答案
你规定了动物园管理员的法定人数吗？看起来Zookeeper正在尝试连接到您的本地主机。
尝试使用hbase-site.xml中的hbase.zookeeper.quorum属性设置您不想使用的计算机的地址。此外，如果您没有管理自己的Zookeeper实例，请确保在hbase-env.sh中没有注释这一行export hbase_manages_zk=true。
-
简介 注意：Xiaomi Cloud-ML服务访问HDFS数据，由于各个机房和用户网络环境差别，请首先联系Cloud-ML开发人员，咨询Cloud-ML服务是否可以访问特定的HDFS集群。 使用Docker容器 我们已经制作了Docker镜像，可以直接访问c3prc-hadoop集群。 sudo docker run -i -t --net=host -e PASSWORD=mypassword
-
我是Hadoop的新手，需要将Hadoop数据存储到MongoDB中。在这里，我使用Pig将Hadoop中的数据存储到MongoDB中。 在给定命令的帮助下，我在Pig Grunt shell中下载并注册了以下驱动程序， 在此之后，我使用以下命令成功地从MongoDB获取了数据。 然后，我尝试使用以下命令将数据从pig bag插入MongoDB，并获得成功。 然后我尝试使用下面的命令Mongo更新
-
简介 HDFS FUSE是基于FUSE的文件系统，允许挂载HDFS上的文件目录到本地文件系统。用户读写本地文件，后台会自动同步到HDFS上。 开发环境中使用HDFS FUSE用法与训练任务类似，训练任务中对应部分可参考 在TrainJob中使用HDFS FUSE 。 目前，下列框架和版本中已经集成了HDFS FUSE功能。 Tensorflow 1.6.0-xm1.0.0 (docker imag
-
我对Hadoop（HDFS和Hbase）和Hadoop生态系统(Hive、Pig、Impala等）相当陌生。我已经很好地理解了Hadoop组件，如NamedNode、DataNode、Job Tracker、Task Tracker，以及它们如何协同工作以高效的方式存储数据。 null
-
我尝试使用Flume 1.7将数据加载到HDFS中。我创建了以下配置： 之后，我使用 netcat 将以下文件发送到源： 该文件包含以下元素: 我面临的问题是，没有任何错误，flume正在写入hdfs，但只有一行传输的文件。如果您开始使用nectat多次将文件推送到源文件，那么有时flume会将多个文件写入hdfs，包括多个行。但很少是所有行。 我试图改变hdfs参数roll大小，批量大小和其他，
-
我有一个复制因子=3的三节点hadoop集群。 现在的问题是，尽管在660 GB集群上只有186GB的数据，但我的存储空间不足：HDFS显示了可用空间的巨大差异： datanode1=7.47 GB datanode2=17.7 GB 最近我的一个数据阳极坏了几天，修好后这个问题出现了。如何平衡负荷？