【大数据】Hive系列之- Hive3.1.3 安装教程

下载 Hive

hive-3.3.1-bin.tar.gz

wget https://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

安装部署

解压

安装目录 /data/apps

cd /data/apps/

tar -xvzf apache-hive-3.1.3-bin.tar.gz

修改环境变量

export HADOOP_HOME=/data/apps/hadoop-3.3.1
export HIVE_HOME=/data/apps/apache-hive-3.1.3-bin
export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin

解决日志 Jar 包(hive和hadoop)冲突

mv $HIVE_HOME/lib/log4j-slf4j-impl- 2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak

mysql安装

可参考 mysql-5.7.x安装教程
或者 docker-compose一键安装mysql

拷贝Mysql驱动

将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下

cp /data/software/mysql-connector-java- 5.1.37.jar $HIVE_HOME/lib

配置 Metastore 到 MySQL

在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件

vim $HIVE_HOME/conf/hive-site.xml 

添加如下内容

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc 连接的 URL -->
<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://localhost:3306/hive?useSSL=false</value>
</property>

<!-- jdbc 连接的 Driver-->
<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>

<!-- jdbc 连接的 username-->
<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
</property>

<!-- jdbc 连接的 password -->
<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>root</value>
</property>

<!-- Hive 元数据存储版本的验证 -->
<property>
	<name>hive.metastore.schema.verification</name>
	<value>false</value>
</property>

<!--元数据存储授权-->
<property>
	<name>hive.metastore.event.db.notification.api.auth</name>
	<value>false</value>
</property>

<!-- Hive 默认在 HDFS 的工作目录 -->
<property>
	<name>hive.metastore.warehouse.dir</name>
	<value>/hive/warehouse</value>
</property>
<!-- 指定存储元数据要连接的地址 -->
<property>
	<name>hive.metastore.uris</name>
	<value>thrift://hadoop-1:9083</value>
</property>
</configuration>

创建 mysql 库并初始化

新建库

create database if not exists hive; 

初始化 Hive 元数据库

schematool -initSchema -dbType mysql - verbose

启动服务

启动 metastore

nohup hive --service metastore 2>&1 &

启动 hiveserver2

nohup hive --service hiveserver2 2>&1 &

验证服务

使用beeline连接hive

bin/beeline -u jdbc:hive2://hadoop-1:10000 -n root

编写 hive 服务启动脚本

前台启动的方式导致需要打开多个 shell 窗口，可以使用如下方式后台方式启动
nohup: 放在命令开头，表示不挂起,也就是关闭终端进程也继续保持运行状态
/dev/null：是 Linux 文件系统中的一个文件，被称为黑洞，所有写入改文件的内容 都会被自动丢弃
2>&1 : 表示将错误重定向到标准输出上
&: 放在命令结尾,表示后台运行
一般会组合使用: nohup [xxx 命令操作]> file 2>&1 &，表示将 xxx 命令运行的结果输出到 file 中，并保持命令启动的进程在后台运行

为了方便使用，可以直接编写脚本来管理服务的启动和关闭

vim hive-action.sh

内容如下：

#!/bin/bash 
HIVE_LOG_DIR=$HIVE_HOME/logs 
if [ ! -d $HIVE_LOG_DIR ] then
	mkdir -p $HIVE_LOG_DIR
fi
#检查进程是否运行正常，参数 1 为进程名，参数 2 为进程端口
function check_process() {
	pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
	ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut - d '/' -f 1)
	echo $pid
	[[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start() {
	metapid=$(check_process HiveMetastore 9083)
	cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
	[ -z "$metapid" ] && eval $cmd || echo "Metastroe 服务已启动" server2pid=$(check_process HiveServer2 10000)
	cmd="nohup hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
	[ -z "$server2pid" ] && eval $cmd || echo "HiveServer2 服务已启动"
}

function hive_stop() {
	metapid=$(check_process HiveMetastore 9083)
	[ "$metapid" ] && kill $metapid || echo "Metastore 服务未启动" server2pid=$(check_process HiveServer2 10000)
	[ "$server2pid" ] && kill $server2pid || echo "HiveServer2 服务未启动"
}

case $1 in 
"start")
	hive_start
	;;
"stop")
	hive_stop
	;;
"restart")
	hive_stop sleep 2 hive_start
	;;
"status")
	check_process HiveMetastore 9083 >/dev/null && echo "Metastore 服务运行 正常" || echo "Metastore 服务运行异常"
	check_process HiveServer2 10000 >/dev/null && echo "HiveServer2 服务运 行正常" || echo "HiveServer2 服务运行异常"
	;;
*)
	echo Invalid Args!
	echo 'Usage: '$(basename $0)' start|stop|restart|status'
	;;
esac

添加执行权限

chmod +x $HIVE_HOME/bin/hive-action.sh

修改beeline默认连接的地址

增加如下配置后，连接beeline，可以自动连接到如下的hive-url地址，不用每次手动敲!connect ${url}了

vim beeline-site.xml

内容如下

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc 连接的 URL -->
<property>
	<name>beeline.hs2.jdbc.url.container</name>
	<value>jdbc:hive2://localhost:10000/default</value>
</property>
<property>
	<name>beeline.hs2.jdbc.url.default</name>
	<value>container</value>
</property>
</configuration>

希望对正在查看文章的您有所帮助，记得关注、评论、收藏，谢谢您