Storm-1.1.0 集群搭建手册---[还有升级的小技巧哦]

部署前准备
 
下载apache-storm-1.1.0
http://storm.apache.org/downloads.html网页下去寻找apache-storm-1.1.0.tar.gz，然后下载此虚拟机版本

此文拿三个节点类比N个节点的Storm集群配置的搭建，此文搭建的是HA-Storm的集群。

下面就让我们一起来搭建storm集群，具体步骤如下：
 
/etc/hosts信息
ip1 master
ip2 slave1
ip3 slave2
例如：
172.18.25.128 master
172.18.25.129 slave1
172.18.25.130 slave2


 
zookeeper信息
master:2181
slave1:2181
slave2:2181
 
Storm部署
Nimbus：master（active），slave1
Supervisor：master，slave1，slave2
 
检查python
[cyt@master ~]$ python
Python 2.6.6 (r266:84292, Nov 22 2013, 12:16:22) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> 
exit() 退出
 
0、在3台服务器上配置hosts
vim /etc/hosts
172.18.25.128 master
172.18.25.129 slave1
172.18.25.130 slave2
 
1、将apache-storm-1.1.0.tar.gz上传到storm安装目录 用户的目录下
假设为：/home/cyt/Storm/storm-1.1.0
 
2、解压

将apache-storm-1.1.0.tar.gz解压：

进入到安装包所在目录，然后执行此命令。

tar -zxvf apache-storm-1.1.0.tar.gz
 
3、重命名（非必需感觉没必要）
将解压后的目录命名为storm
mv apache-storm-1.1.0 storm
 也可以建立软连接（这个本人推荐）
  建立软连接-必须是绝对路径【相当于快捷方式】 例如：/home/cyt/Storm/storm-1.1.0/apache-storm-1.1.0/建立 /home/cyt/storm
ln -s /home/cyt/Storm/storm-1.1.0/apache-storm-1.1.0 /home/cyt/storm
4、配置storm.yaml
进入storm/conf目录，修改storm.yaml配置文件为如下内容：
########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "master"
     - "slave1"
     - "slave2"
#storm.zookeeper.port: 2181
 nimbus.host: "master"

 ui.port: 9999

#这个需要指定到用户目录下的一个文件夹

 storm.local.dir: "/home/cyt/data/storm-1.1.0"

 supervisor.slots.ports:
     - 6700
     - 6701
#nimbus H/A
 nimbus.seeds: ["master", "slave1"]


 
注：每一个配置点前面需要加一个空格“”，否则启动时会报配置文件相关异常。
 
绝大多数配置信息都是使用默认值，具体参考：
https://github.com/apache/storm/blob/v1.0.0/conf/defaults.yaml
 

{在这我需要插一句话了哦，如果你是Storm集群的升级的话，你需要去Zookeeper的客户端删除掉storm

如果你配置了Zookeeper的环境变量的话，如果没有需要进入Zookeeper安装目录的bin目录下执行

没有配置环境变量的命令：./zkCli.sh

配置环境变量的直接输入命令：zkCli.sh 

进入后 在输入：ls /   你会看到storm

删除storm: rmr /storm

}

5、进程启动
在master、slave1、slave2完成前面4步之后，按nimbus、supervisor的分布情况启动storm进程：
master 启动nimbus、supervisor、ui
./storm/bin/storm nimbus &
./storm/bin/storm supervisor &
./storm/bin/storm ui &
 
 
slave1 启动nimbus、supervisor、ui
./storm/bin/storm nimbus &
./storm/bin/storm supervisor &
./storm/bin/storm ui &
 
  
slave2 启动supervisor
./storm/bin/storm supervisor &
 
 --为了方便，不去查找启动命令的路径，建议去配置环境变量
vim /etc/profile
#storm-1.1.0
export STORM_HOME=/home/cyt/storm
export PATH=$PATH:$STORM_HOME/bin
配置完环境变量后的启动命令：
master 启动nimbus、supervisor、ui
storm nimbus &
storm supervisor &
storm ui &
 
 
slave1 启动nimbus、supervisor、ui
storm nimbus &
storm supervisor &
storm ui &
 
  
slave2 启动supervisor
storm supervisor &

【

       后台启动命令=》在storm的安装目录下的bin文件夹启动storm进程：

       启动主控节点nimbus服务:
              bin/storm nimbus 1>/dev/null 2>&1 &  

      启动主控节点UI：
              bin/storm ui 1>/dev/null 2>&1 &  

     启动工作节点supervisor
             bin/storm supervisor 1>/dev/null 2>&1 &

】
6、验证
http://master:9999