storm1.2.2集群搭建

storm集群搭建

1. 环境依赖

storm1.2.2依赖java环境,需要使用zookeeper进行协调,所以请先安装jdk和搭建zookeeper集群环境。

2. 集群规划

192.168.43.130部署zookeeper

192.168.43.128部署nimbus和ui

192.168.43.129部署supervisor

192.168.43.131部署supervisor

3. 部署storm集群

3.1 下载strom安装包

http://storm.apache.org/downloads.html.

解压:tar –zxvf apache-storm-1.2.2.tar.gz

# cd apache-storm-1.2.2/conf

3.2 配置

首先在主节点进行配置,修改配置文件如下:

# vi storm.yaml

### zookeeper server host or ip

storm.zookeeper.servers:

- “192.168.43.128”

storm.local.dir: “/opt/storm”

### nimbus.* configs are for the master

nimbus.seed: ["192.168.43.128"]

### Define the amount of workers that can be run on this machine. Each worker is

### assigned a port to use for communication

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

从节点上也做按上面的进行配置,不再赘述。

注意:不能出现tab键作为间隔,只能使用空格,否则可能出现解析错误

3.3 启动storm服务

①在主节点启动nimbus和ui

# bin/storm nimbus >/dev/null 2>&1 &

# bin/storm ui >/dev/null 2>&1 &

③在从节点启动supervisor

# bin/storm supervisor >/dev/null 2>&1 &

执行完成以后可分别执行jps查看是否启动成功

# jps
20304 Supervisor
20439 Jps

部署成功后,进入启动ui那台服务器上查看如下界面:

例如:http://192.168.43.128:8080

storm ui界面

supervisor的host可能出现localhost,这是工作节点上主机名字为localhost导致的,可以通过修改该节点上的主机名解决,命令为hostnamectl

命令语法为: # hostnamectl set-hostname <newhostname>

遇到的问题

①nimbus或supervisor异常退出或无法启动成功,可以查看logs目录下的日志,如nimbus.log或supervisor.log

②最好给所有的主机设置域名,可以是内网环境的域名,否则可能出现各种奇奇怪怪的连接异常。

备注:可以单独搭建局域网域名解析服务器,或在本地进行DNS解析;

本地DNS解析方法:

修改/etc/hosts文件添加规则:ip 域名;

如增加一个新的解析:192.168.43.128 local.test.com

猜你喜欢

转载自blog.csdn.net/vincent_yuan89/article/details/86508428
今日推荐