storm集群搭建
1. 环境依赖
storm1.2.2依赖java环境,需要使用zookeeper进行协调,所以请先安装jdk和搭建zookeeper集群环境。
2. 集群规划
192.168.43.130部署zookeeper
192.168.43.128部署nimbus和ui
192.168.43.129部署supervisor
192.168.43.131部署supervisor
3. 部署storm集群
3.1 下载strom安装包
http://storm.apache.org/downloads.html.
解压:tar –zxvf apache-storm-1.2.2.tar.gz
# cd apache-storm-1.2.2/conf
3.2 配置
首先在主节点进行配置,修改配置文件如下:
# vi storm.yaml
### zookeeper server host or ip
storm.zookeeper.servers:
- “192.168.43.128”
storm.local.dir: “/opt/storm”
### nimbus.* configs are for the master
nimbus.seed: ["192.168.43.128"]
### Define the amount of workers that can be run on this machine. Each worker is
### assigned a port to use for communication
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
从节点上也做按上面的进行配置,不再赘述。
注意:不能出现tab键作为间隔,只能使用空格,否则可能出现解析错误
3.3 启动storm服务
①在主节点启动nimbus和ui
# bin/storm nimbus >/dev/null 2>&1 &
# bin/storm ui >/dev/null 2>&1 &
③在从节点启动supervisor
# bin/storm supervisor >/dev/null 2>&1 &
执行完成以后可分别执行jps查看是否启动成功
# jps
20304 Supervisor
20439 Jps
部署成功后,进入启动ui那台服务器上查看如下界面:
例如:http://192.168.43.128:8080
supervisor的host可能出现localhost,这是工作节点上主机名字为localhost导致的,可以通过修改该节点上的主机名解决,命令为hostnamectl
命令语法为: # hostnamectl set-hostname <newhostname>
遇到的问题
①nimbus或supervisor异常退出或无法启动成功,可以查看logs目录下的日志,如nimbus.log或supervisor.log
②最好给所有的主机设置域名,可以是内网环境的域名,否则可能出现各种奇奇怪怪的连接异常。
备注:可以单独搭建局域网域名解析服务器,或在本地进行DNS解析;
本地DNS解析方法:
修改/etc/hosts文件添加规则:ip 域名;
如增加一个新的解析:192.168.43.128 local.test.com