说在前面
- 工作环境:VMware® Workstation 12 Pro 12.5.6 build-5528349
- linux版本:CentOS-7-x86_64-Minimal-1611.iso
- JDK版本:jdk-8u65-linux-x64.tar.gz
- Hadoop版本:hadoop-2.7.6.tar.gz
- Zookeeper版本:zookeeper-3.4.12.tar.gz
- Storm版本:apache-storm-1.1.3.tar.gz
Storm的安装配置
Storm集群节点:s201,s202,s203,s204。s201为master(nimbus),其他节点为执行节点(Supervisor)
-
-
解压并创建符号链接(s201节点)
//解压
$> tar -xzvf /mnt/hgfs/bigdata/soft/apache-storm-1.1.3.tar.gz -C /soft
//创建符号链接
$> ln -s /soft/apache-storm-1.1.3/ storm
- 在 /etc/profile 文件中配置环境变量,source profile文件立即生效
# storm
export STORM_HOME=/soft/storm
export PATH=$PATH:$STORM_HOME/bin
//检查是否安装成功
$> storm version
- 分发给其他三台主机节点(s202,s203,s204)
//分发文件
$> scp apache-storm-1.1.3 centosmin0@s202:/soft/
$> scp apache-storm-1.1.3 centosmin0@s203:/soft/
$> scp apache-storm-1.1.3 centosmin0@s204:/soft/
//分发符号链接
$> rsync -lr *storm* centosmin0@s202:/soft/
$> rsync -lr *storm* centosmin0@s203:/soft/
$> rsync -lr *storm* centosmin0@s204:/soft/
//修改每台主机中的 profile 配置文件
完全分布式配置
- 进入 /soft/storm/conf 目录下,对 storm.yaml 进行如下配置(主机:s201)
storm.local.dir: "/home/centosmin0/storm"
storm.zookeeper.servers:
- "s201"
- "s202"
- "s203"
storm.zookeeper.port:2181
nimbus.seeds: ["s201"]
ui.host: 0.0.0.0
ui.port: 8080
supervisor.slots/ports:
- 6700
- 6701
- 6702
- 6703
-
分发给其他主机节点:s202,s203,s204
-
启动集群
-
启动ZooKeeper集群:zkServer.sh start(s201,s202,s203)
-
启动主机s201的 nimbus进程
$> bin/storm nimbus
- 启动s202 ~ s204 supervisor进程
$> bin/storm supervisor
- 启动s201d的webui进程
$> bin/storm ui
-
进程如下:
- 在 webui 中查看:http://s201:8080/