5.1-大数据组件安装环境准备
对于 Linux 系统小白,如何用最快的方式搭建一套简易的大数据系统。
安装 JDK
# tar -xvf jdk*.tar.gz /home/softwares #解压java的tar包
将/etc/profile添加附录B文件profile中内容。
export JAVA_HOME=/home/softwares/ jdk1.7.0_67 PATH=$PATH:$JAVA_HOME/bin
# source /etc/profile #使修改生效
# java –version #确认java安装成功
关闭防火墙和selinux
# service iptables/firewalld stop #关闭防火墙
# service iptables status #查看是否关闭
# vim /etc/selinux/config
SELINUX=disabled #修改后需要reboot才能生效。
# getenforce #确认SElinux设置成功
主机命名和hosts配置
配置静态IP
在VMware导航栏:编辑—>虚拟网络编辑器,选中VMnet8,点击Nat设置,如图2所示,虚拟机网关为192.168.129.2。按附录A修改ifcfg-eth0文件。
(1)ifcfg-eth0(/etc/sysconfig/network-scripts目录下)
BOOTPROTO="static" #静态IP
ONBOOT="yes" #网卡开机自动启动
GATEWAY=192.168.129.2 #等于wmnet8的网关DNS1=192.168.129.2 #等于wmnet8的网关IPADDR=192.168.129.143 #IP地址
配置SSH免密验证
本文以四台机器(master、slave01和slave02)为例,配置root用户免密。配置其他用户免密时,首先新建用户,剩余步骤相同。修改sshd配置文件和重启sshd服务时用root用户,其他交换密钥、生成authorized_keys文件和.ssh文件夹、以及改变文件和文件夹权限操作使用配置免密的用户。分为以下几步:生成 .ssh 文件夹,生成公私钥,将所有公钥拷贝到master机器的authorized_keys中,修改sshd配置文件并重启加载,将authorized_keys分发给各台机器。
(1)密码登陆以生成.ssh文件夹,.ssh文件夹在根目录下,可通过 ls –a 命令查看。
# ssh 主机名
(2)生成公钥私钥(三次回车生成id_rsa id_rsa.pub)
# ssh-keygen -t rsa
(3)将master上的公钥拷到authorized_keys文件中
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
(4)改变所有节点上的 .ssh 文件夹权限
#chmod 700 ~/.ssh
(5)改变 master上 的authorized_keys文件权限。
#chmod 600 ~/.ssh/authorized_keys
(6)在每台机器上修改配置文件并重启sshd服务使修改配置文件生效。
# service sshd restart
(7)把公钥拷给master,在 slave01/slave02 上运行
# ssh-copy-id -i ~/.ssh/id_rsa.pub root@master
(8)把公钥分发 slave01/ slave02
# scp -rq ~/.ssh/authorized_keys root@slave01:~/.ssh
# scp -rq ~/.ssh/authorized_keys root@slave02:~/.ssh
sshd_config(/etc/ssh目录下)
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径
时钟同步
小窍门:使用 xShell 同时发布 date -s "YYYY-MM-DD hh:mm:ss" 命令。
cdrom 盘挂载和配置本地 yum 源
挂载完成后yum才能安装系统自带的软件。首先,确保下图光盘图标(右下角左起第二个)闪烁。
# mount /dev/cdrom /mnt #文件名可能不是cdrom。
# df –h #确保系统盘已经挂载到指定目录,图5所示,/dev/sr0已挂载成功。
(4)在/etc/yum.repos.d目录下添加os.repo文件
[os] #可随意指定,但repo文件之间不要重复。
name = os #可随意指定,但repo文件之间不要重复。
baseurl = file:///mnt
#系统盘挂载目录,本处是本地地址,即每台主机上都需挂载目录。
gpgcheck = 0
enabled=1
使用 Http 或 FTP 服务配置内部 yum 源
(1)将cdh5.5.1-centos6.tar.gz软件上传至143主机的/var/www/html目录下解压,命令为:tar –zxvf cdh5.5.1-centos6.tar.gz。 (2)开启httpd服务,其他主机安装存在143主机上的软件,命令为:service httpd on。
(3)通过web 界面查看,结果如下图。 (4)在/etc/yum.repos.d目录下添加cdh.repo文件。
(5)cdh.repo
[cloudera-cdh5]
name=Cloudera's Distribution for Hadoop, Version 5
baseurl=http://192.168.129.143/cdh/5 #系统盘挂载目录,本处是网络地址,即只需在192.168.129.143主机上存放文件。
gpgkey =http://master/cdh/RPM-GPG-KEY-cloudera
gpgcheck = 1
epel 库安装
yum -y install epel-release