我试图在全分布式模式下配置HBase。(使用Ubuntu 12.04,Apache Hadoop 2.2(在伪模式下运行,HBase版本0.98)下面是我的bashrc设置:
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin
export PATH=$PATH:$HBASE_HOME/sbin
export HADOOP_HOME=$HADOOP_HOME:$HBASE_HOME/conf
下面是我的/etc/主持人
192.168.72.12 namenode
192.168.72.12 master
192.168.72.12 regionserver1
hbase网站。xml是
<name>hbase.rootdir</name>
<value>hdfs://namenode:8020/hbase</value>
</property>
<property>
<name>hbase.defaults.for.version.skip</name>
<value>true</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>192.168.72.128:60000</value>
</property>
JAVA_HOME设置在HBase env中。sh也HBase_管理_ZK=true
hbase/conf中的文件区域服务器包含
regionserver1
当hadoop cluster运行时,当我编写命令start hbase时。嘘,我得到下面的错误。。
localhost: starting zookeeper, logging to /usr/local/hbase/bin/../logs/hbase-hduser-zookeeper-ubuntu.out
starting master, logging to /usr/local/hbase/logs/hbase-hduser-master-ubuntu.out
localhost: starting regionserver, logging to /usr/local/hbase/bin/../logs/hbase-hduser-regionserver-ubuntu.out
regionserver1: ssh: Could not resolve hostname regionserver1: Name or service not known
#: ssh: Could not resolve hostname #: Name or service not known
另外,我的ssh服务正在运行。请帮我找到解决方案。事先谢谢。
编辑:(添加了regionserver日志文件的快照)
2014-12-13 18:49:12,080 INFO [regionserver60020-SendThread(localhost:2181)] zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)
2014-12-13 18:49:12,081 WARN [regionserver60020-SendThread(localhost:2181)] zookeeper.ClientCnxn: Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect
java.net.ConnectException: Connection refused
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:739)
at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:350)
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1068)
2014-12-13 18:49:13,183 INFO [regionserver60020-SendThread(localhost:2181)] zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)
2014-12-13 18:49:13,184 WARN [regionserver60020-SendThread(localhost:2181)] zookeeper.ClientCnxn: Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect
java.net.ConnectException: Connection refused
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:739)
at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:350)
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1068)
2014-12-13 18:49:14,114 INFO [regionserver60020] ipc.RpcServer: Stopping server on 60020
2014-12-13 18:49:14,132 FATAL [regionserver60020] regionserver.HRegionServer: ABORTING region server ubuntu,60020,1418476720081: Initialization of RS failed. Hence aborting RS.
java.io.IOException: Received the shutdown message while waiting.
at org.apache.hadoop.hbase.regionserver.HRegionServer.blockAndCheckIfStopped(HRegionServer.java:776)
at org.apache.hadoop.hbase.regionserver.HRegionServer.initializeZooKeeper(HRegionServer.java:725)
at org.apache.hadoop.hbase.regionserver.HRegionServer.preRegistrationInitialization(HRegionServer.java:697)
at org.apache.hadoop.hbase.regionserver.HRegionServer.run(HRegionServer.java:830)
at java.lang.Thread.run(Thread.java:744)
2014-12-13 18:49:14,133 FATAL [regionserver60020] regionserver.HRegionServer: RegionServer abort: loaded coprocessors are: []
2014-12-13 18:49:14,133 INFO [regionserver60020] regionserver.HRegionServer: STOPPED: Initialization of RS failed. Hence aborting RS.
2014-12-13 18:49:14,152 INFO [regionserver60020] ipc.RpcServer: Stopping server on 60020
2014-12-13 18:49:14,154 INFO [regionserver60020] regionserver.HRegionServer: Stopping infoServer
2014-12-13 18:49:14,188 INFO [regionserver60020] mortbay.log: Stopped SelectChannelConnector@0.0.0.0:60030
2014-12-13 18:49:14,203 ERROR [main] regionserver.HRegionServerCommandLine: Region server exiting
java.lang.RuntimeException: HRegionServer Aborted
at org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.start(HRegionServerCommandLine.java:66)
at org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.run(HRegionServerCommandLine.java:85)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:126)
at org.apache.hadoop.hbase.regionserver.HRegionServer.main(HRegionServer.java:2383)
2014-12-13 18:49:14,215 INFO [Thread-9] regionserver.ShutdownHook: Shutdown hook starting; hbase.shutdown.hook=true; fsShutdownHook=org.apache.hadoop.fs.FileSystem$Cache$ClientFinalizer@61bdbb58
2014-12-13 18:49:14,220 INFO [Thread-9] regionserver.HRegionServer: STOPPED: Shutdown hook
2014-12-13 18:49:14,224 INFO [Thread-9] regionserver.ShutdownHook: Starting fs shutdown hook thread.
2014-12-13 18:49:14,229 INFO [Thread-9] regionserver.ShutdownHook: Shutdown hook finished.
除了在/etc/hosts中添加主机名条目外,还需要在/etc/hostname中添加条目。
将条目添加到 /etc/hostname,然后尝试是否可以ping区域服务器1
尝试使用ClouderaCDH5
和Express Manager
分发。它是免费的,节省了很多时间。它完全支持Ubuntu/Debian系统。
我发现分布式集群的ZooKeeper/HDFS/HBase配置非常棘手。例如,您必须通过以正确的顺序重新启动服务来重新启动集群。例如,开始顺序如下:ZooKeeper
以下是我的成功故事:我试着不仅用HBase,而且用Impala、Spark、Ozzie、Hive和Hue来准备Hadoop环境。此外,在我的情况下,HBase必须与不属于CHD5的Phoenix
模块一起使用。我已经成功使用单节点集群,手动创建。但我迷失在集群配置中。。。我一直使用XML、主机名等。
在我决定花一些时间学习Cloudera的发行版之后,我安装了CM5软件包,它们是Cloudera Manager
(即CM5)。接下来,我启动了web界面,并通过web界面安装了所有必需的deb软件包(是的,它会安装全套软件包,如果您不需要它们,这会带来很大的开销)。就是这样!它快速而自信。
接下来是配置。所有这些都是通过网络界面完成的。你只需选择集群中涉及的主机,选择你需要的服务,如HBase等。分配角色后,云管理器就开始集群。完成了。仅此而已。
该软件还收集了许多最佳实践,如监控、配置版本控制、提示和技巧、软件更新等。更重要的是,它可以让您非常快速地获得工作集群,之后您可以继续研究如何优化安装过程。
祝你好运!
根据这两个教程:即教程1和教程2,我能够在完全分布式模式下设置HBase集群。最初,集群似乎工作正常。 hmaster/Name节点中的“jps”输出 datanodes/RegionServers中的jps输出 null (我已经试着在/etc/hosts/中评论与HBase相关的主机,但仍然没有成功) 在hbase-site.xml中
Hadoop版本=2.4.1 hbase版本=0.98.6 我已经在下面的conf上启动并顺利运行了hadoop: 107.108.86.119-hadoop namenode,secondarynamenode 107.109.155.100-datanode1 107.109.155.102-datanode2 现在我按以下方式安装hbase:- 107.108.86.114:-hmaster
我有两个节点的完全分布式Hadoop和Hbase实例。HDFS在主机和从机上工作良好。但是HBase shell只在节点名格式化之后工作一次,并且集群是新的,之后我得到错误:error:org.apache.hadoop.HBase.PleaseHoldException:Master is initializing HBase 我也不能通过hbase shell从slave连接我总是得到错误连接
一 伪分布式安装 1.下载解压给权限 可以从官方下载地址下载 HBase 最新版本,推荐 stable目录下的二进制版本。我下载的是 hbase-1.1.3-bin.tar.gz 。确保你下载的版本与你现存的 Hadoop 版本兼容(兼容列表)以及支持的JDK版本(从HBase 1.0.x 已经不支持 JDK 6 了)。 兼容列表: tar -zxvf hbase-1.1.3-bin.tar.gz
一、安装准备 1、下载HBASE 0.20.5版本:http://www.apache.org/dist/hbase/hbase-0.20.5/ 2、JDK版本:jdk-6u20-linux-i586.bin 3、操作系统:Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GN
我想添加hbase类路径到我的火花,但我得到了错误,当我运行命令。 我在env中使用java 1.8在本地设置了hadoop 3.2.0。 $hbase类路径 /usr/lib/hadoop/libexec/hadoop函数。sh:第2364行:HADOOP_ORG。阿帕奇。HADOOP。HBASE。UTIL。GETJAVAPROPERTY_USER:变量名/usr/lib/hadoop/libe