4.3.2-Hbase-安装

优质
小牛编辑
116浏览
2023-12-01

1.1 前置条件

  • 完成《大数据组件安装环境准备》章节操作。
  • 完成《HDFS安装》章节操作。
  • 完成《Zookeeper 安装》章节操作。

    1.2 安装组件

    yum install hbase hbase-master hbase-regionserver –y 
    #在每台机器上安装 hbase-master 和 hbase-regionserver,按需安装即可,需要启动该进程则安装。
    

    1.3 修改配置文件

  • hbase-site.xml 修改 hbase.rootdir、hbase.tmp.dir 和 hbase.zookeeper.quorum。
  • hbase-env.sh 修改 JAVA_HOME

    1.4 创建 hdfs 目录并改权限

    hdfs  dfs -mkdir /hbase
    # 根据 hbase.rootdir 在hdfs中创建/hbase目录
    hdfs  dfs -chown hbase:hbase /hbase
    # 将属组和所有者改为 hbase:hbase
    

    1.5 创建本地目录并改权限

    mkdir /data/hbase
    # 根据 hbase.tmp.dir 在每台机器上创建 /data/hbase 目录。
    chown -R hbase:hbase /data/hbase/
    # 将该目录的属组和所有者改为 hbase:hbase
    

    1.6 启动hbase

    for x in `ls /etc/init.d/|grep hbase` ; do service $x start ; done
    
    等同于
    service hbase-master start
    service hbase-regionserver start
    

    2. tar包安装

    2.1 解压 tar 包

    tar -zxvf hbase-1.2.6-bin.tar.gz
    

    2.2 创建hbase用户

    groupadd hbase
    useradd hbase -g hbase
    

    2.3 配置环境变量

    vim /etc/profile
    
    export HBASE_HOME=/home/hbase/hbase-1.2.6
    PATH=$HBASE_HOME/bin:$PATH
    # 其他组件的环境变量保留。
    
    source /etc/profile
    

    2.4 修改配置文件

  • hbase-env.sh :配置JAVA_HOME。
  • hbase-site.xml :配置
  • regionservers hbase:配置所有 RegionServer 节点 ip 或 hostname。

    2.5 启动服务

    start-hbase.sh
    # hdfs 和 zookeeper 启动的前提下
    

    3. Docker Yum 安装

    3.1 制作镜像

    3.1.1 确保 docker 为启动状态

    docker 安装参考9.2 Docker 安装
    service docker start
    
    Redirecting to /bin/systemctl status docker.service
    ● docker.service - Docker Application Container Engine
     Loaded: loaded (/usr/lib/systemd/system/docker.service; disabled; vendor preset: disabled)
     Active: active (running) since 日 2018-10-14 10:20:30 CST; 2 weeks 4 days ago
       Docs: https://docs.docker.com
    Main PID: 45351 (dockerd)
      Tasks: 145
     Memory: 80.3M
     CGroup: /system.slice/docker.service
             ├─45351 /usr/bin/dockerd
             └─45365 docker-containerd --config /var/run/docker/containerd/containerd.toml
    

    3.1.2 确保 centos 镜像存在

    [root@node12 ~]# docker image ls
    
    REPOSITORY                 TAG                 IMAGE ID            CREATED             SIZE
    centos                     latest              75835a67d134        3 weeks ago         200MB
    

    3.1.3 根据 Dockerfile 编译镜像

    docker build -t wlj/hdfs_hbase_zookeeper .
    
    Dockerfile

3.1.4 启动容器

docker run -itd --network docker_my --ip 172.18.1.112 -h node112 --name node112 wlj/hdfs_hbase_zookeeper init
docker exec -it node112 /bin/bash

3.1.5 导出镜像

docker export 1f2069b78546 -o hdfs_hbase_zookeeper.tar

3.2 默认安装

3.2.1 添加网桥

docker network create --subnet=172.18.1.0/24 docker-br0

3.2.2 导入镜像

docker import hdfs_hbase_zookeeper.tar
# tar 包位于 tar 目录下。

3.2.3 启动容器

./start-container.sh
# 脚本位于 container 目录下。

3.2.4 发送脚本和配置文件

scp -r /home/wlj/docker/sh /home/wlj/docker/config/ 172.18.1.112:/opt
# 稍等片刻 ssh 才可用。

3.2.5 运行命令

cd /opt/sh
./total.sh
# 在容器中运行,脚本运行节点必须为 config/host.txt 配置文件中第一行的节点。

3.2.6 测试 Hbase 的使用

同本地。

3.3 修改 ip 地址

3.3.1 修改 start-container.sh

3.3.2 修改 host.txt

3.3.3 修改 namenode.txt

3.3.3 修改 datanode.txt

3.3.4 修改 zoo.cfg

3.3.6 修改 regionservers

3.3.7 修改 masterandhdfsdir.txt

3.3.8 修改 total.sh

4. 主机一键安装

4.1 安装 expect

4.2 准备大数据组件

免密可用。

参考资料