CentOS 7 Storm集群搭建详细版

一、环境准备

操作系统: CentOS7.0

Zookeeper版本：zookeeper-3.4.10

Storm版本：apache-storm-1.1.0

JDK版本：jdk1.8.0_77

集群配置如下：

二、前提条件

2.1.安装配置JDK1.8
CentOS7安装JDK1.8
2.2.安装配置Zookeeper集群
CentOS7安装配置zookeeper集群
2.3.下载Apache Storm

1. wget https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.1.0/apache-storm-1.1.0.tar.gz
2. 也可以xshell上传本地其他版本安装包

cd  /usr/local/         mkdir storm 
cd /usr/local/storm     tar -zxvf apache-storm-1.1.0.tar.gz

3. 配置环境变量

[root@ hp1~]# vim /etc/profile
#添加以下配置
# storm-1.1.0
export STORM_HOME=/usr/local/storm/apache-storm-1.1.0
export PATH=$PATH:$STORM_HOME/bin

#使修改生效
[root@ hp1~]# source /etc/profile
#验证
[root@ hp1~]# echo $STORM_HOME
/usr/local/storm/apache-storm-1.1.0

4. 配置storm.yaml

#进入$STORM_HOME目录
[root@hp1 ~]# cd $STORM_HOME
#创建目录
[root@hp1 storm]# mkdir -p data
#进入配置文件目录
[root@hp1 data]# cd $STORM_HOME/conf
#修改配置文件storm.yaml
[root@hp1 conf]# vim storm.yaml
#修改的配置项如下
 storm.zookeeper.servers:
     - "192.168.0.128"
     - "192.168.0.129"
     - "192.168.0.130"

 nimbus.seeds: ["192.168.0.128"]
 storm.zookeeper.port: 2181
 storm.local.dir: "/usr/local/storm/apache-storm-1.1.0/data"

三、安装依赖库

[root@hp1 ~]# yum install libtool -y
[root@hp1 ~]# yum -y install gcc
[root@hp1 ~]# yum -y install gcc-c++
[root@hp1 ~]# yum -y install make
[root@hp1 ~]# yum -y install uuid-devel
[root@hp1 ~]# yum -y install libuuid-devel
[root@hp1 ~]# yum -y install e2fsprogs-devel

四、下载libsodium

cd /usr/local      mkdir libsodium
[root@hp1 libsodium]# wget https://download.libsodium.org/libsodium/releases/libsodium-1.0.10.tar.gz
#解压
[root@hp1 libsodium]# tar -zxvf libsodium-1.0.10.tar.gz
#进入到目录
[root@apollo libsodium]# cd/usr/local/libsodium/libsodium-1.0.10
#编译
[root@hp1 libsodium-1.0.10]# ./autogen.sh 
[root@hp1 libsodium-1.0.10]# ./configure 
[root@hp1 libsodium-1.0.10]# make
[root@hp1 libsodium-1.0.10]# make install

五、安装ZeroMQ

cd /usr/local      mkdir zeroMQ
wget https://github.com/zeromq/libzmq/releases/download/v4.2.1/zeromq-4.2.1.tar.gz
tar -zxvf zeromq-4.2.1.tar.gz
cd /usr/local/zeroMQ/zeromq-4.2.1
./autogen.sh 
./configure PKG_CONFIG_PATH="/usr/local/lib/pkgconfig"
make
make install

六、安装jzmq

cd /usr/local      mkdir jzmq
#如果没有安装git
[root@hp1 zeromq]# yum -y install git
#git clone jzmq
[root@hp1 zeromq]# git clone git://github.com/zeromq/jzmq.git
#进入目录jzmq/jzmq-jni
[root@hp1 zeromq]# cd /usr/local/jzmq/jzmq-jni
#编译
[root@hp1 jzmq-jni]# ./autogen.sh 
[root@hp1 jzmq-jni]# ./configure 

七、拷贝文件到其余工作节点

注：在拷贝文件前，3~6的所有步骤都要在从机上完成

[root@ hp1 local]# cd  /usr/local/ 
scp -r storm/ hp2:$PWD
scp -r storm/ hp3:$PWD

八、配置项说明

1.storm.zookeeper.servers:表示zookeeper的集群地址，如果Zookeeper集群使用的不是默认端口，那么还需要配置storm.zookeeper.port
2.storm.zookeeper.port: Zookeeper集群的端口号
3.storm.local.dir: 用于配置Storm存储少量文件的路径
4.nimbus.seeds: 用于配置主控节点的地址，可以配置多个

九、启动Storm

9.1. 启动主控节点

[root@ hp1 ~] # cd /usr/local/storm/apache-storm-1.1.0/bin             

storm nimbus &

9.2.启动工作节点

[root@ hp2 ~]# cd /usr/local/storm/apache-storm-1.1.0/bin   
storm supervisor &
[root@ hp3 ~]# cd /usr/local/storm/apache-storm-1.1.0/bin   
storm supervisor &

9.3.启动管理页面

[root@ hp1 ~] #  cd /usr/local/storm/apache-storm-1.1.0/bin  
storm ui &

9.4.在管理页面上查看storm集群情况