5.1-大数据组件安装环境准备

优质
小牛编辑
124浏览
2023-12-01

对于 Linux 系统小白,如何用最快的方式搭建一套简易的大数据系统。

安装 JDK

# tar -xvf jdk*.tar.gz  /home/softwares #解压java的tar包
将/etc/profile添加附录B文件profile中内容。

export JAVA_HOME=/home/softwares/ jdk1.7.0_67 PATH=$PATH:$JAVA_HOME/bin

# source /etc/profile                 #使修改生效
# java –version                         #确认java安装成功

关闭防火墙和selinux

# service iptables/firewalld stop           #关闭防火墙
# service iptables status       #查看是否关闭
# vim /etc/selinux/config
SELINUX=disabled #修改后需要reboot才能生效。
# getenforce                 #确认SElinux设置成功

主机命名和hosts配置

配置静态IP

在VMware导航栏:编辑—>虚拟网络编辑器,选中VMnet8,点击Nat设置,如图2所示,虚拟机网关为192.168.129.2。按附录A修改ifcfg-eth0文件。 虚拟机网关.PNG

(1)ifcfg-eth0(/etc/sysconfig/network-scripts目录下)
BOOTPROTO="static"    #静态IP
ONBOOT="yes"        #网卡开机自动启动
GATEWAY=192.168.129.2       #等于wmnet8的网关DNS1=192.168.129.2    #等于wmnet8的网关IPADDR=192.168.129.143    #IP地址

配置SSH免密验证

本文以四台机器(master、slave01和slave02)为例,配置root用户免密。配置其他用户免密时,首先新建用户,剩余步骤相同。修改sshd配置文件和重启sshd服务时用root用户,其他交换密钥、生成authorized_keys文件和.ssh文件夹、以及改变文件和文件夹权限操作使用配置免密的用户。分为以下几步:生成 .ssh 文件夹,生成公私钥,将所有公钥拷贝到master机器的authorized_keys中,修改sshd配置文件并重启加载,将authorized_keys分发给各台机器。

(1)密码登陆以生成.ssh文件夹,.ssh文件夹在根目录下,可通过 ls –a 命令查看。
# ssh 主机名
(2)生成公钥私钥(三次回车生成id_rsa  id_rsa.pub)
# ssh-keygen -t rsa 
(3)将master上的公钥拷到authorized_keys文件中
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
(4)改变所有节点上的 .ssh 文件夹权限
#chmod 700 ~/.ssh 
(5)改变 master上 的authorized_keys文件权限。                 
#chmod 600 ~/.ssh/authorized_keys 
(6)在每台机器上修改配置文件并重启sshd服务使修改配置文件生效。
# service sshd restart
(7)把公钥拷给master,在 slave01/slave02 上运行
# ssh-copy-id -i ~/.ssh/id_rsa.pub root@master
(8)把公钥分发 slave01/ slave02
# scp -rq ~/.ssh/authorized_keys root@slave01:~/.ssh 
# scp -rq ~/.ssh/authorized_keys root@slave02:~/.ssh

sshd_config(/etc/ssh目录下)

RSAAuthentication yes          # 启用 RSA 认证
PubkeyAuthentication yes     # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys  # 公钥文件路径

时钟同步

小窍门:使用 xShell 同时发布 date -s "YYYY-MM-DD hh:mm:ss" 命令。

cdrom 盘挂载和配置本地 yum 源

挂载完成后yum才能安装系统自带的软件。首先,确保下图光盘图标(右下角左起第二个)闪烁。 查看 cdrom 光标.PNG

# mount /dev/cdrom /mnt       #文件名可能不是cdrom。
# df –h     #确保系统盘已经挂载到指定目录,图5所示,/dev/sr0已挂载成功。

磁盘挂载结果.PNG (4)在/etc/yum.repos.d目录下添加os.repo文件

[os]      #可随意指定,但repo文件之间不要重复。
name = os      #可随意指定,但repo文件之间不要重复。
baseurl = file:///mnt  
#系统盘挂载目录,本处是本地地址,即每台主机上都需挂载目录。
gpgcheck = 0 
enabled=1

使用 Http 或 FTP 服务配置内部 yum 源

(1)将cdh5.5.1-centos6.tar.gz软件上传至143主机的/var/www/html目录下解压,命令为:tar –zxvf cdh5.5.1-centos6.tar.gz。 (2)开启httpd服务,其他主机安装存在143主机上的软件,命令为:service httpd on。
(3)通过web 界面查看,结果如下图。 本地 hadoop yum 源.PNG (4)在/etc/yum.repos.d目录下添加cdh.repo文件。

(5)cdh.repo
[cloudera-cdh5]
name=Cloudera's Distribution for Hadoop, Version 5
baseurl=http://192.168.129.143/cdh/5 #系统盘挂载目录,本处是网络地址,即只需在192.168.129.143主机上存放文件。
gpgkey =http://master/cdh/RPM-GPG-KEY-cloudera
gpgcheck = 1

epel 库安装

yum -y install epel-release