安装说明
安装环境
虚拟机:VirtualBox-6.1.18
操作系统:Ubuntu16.04LTS
集群情况:
主机名称 | Hadoop版本 | ZooKeeper版本 | IP地址 |
---|---|---|---|
hadoop-master | 2.7.3 | 3.6.3 | 192.168.56.1 |
hadoop-slave1 | 2.7.3 | 3.6.3 | 192.168.56.2 |
hadoop-slave2 | 2.7.3 | 3.6.3 | 192.168.56.3 |
本次安装的Storm
Storm版本:2.3.6
下载地址:apache-storm-2.2.0.tar.gz
其他:Storm官网 、查看不同版本、官方文档
都准备就绪后,我们就接着往下开始安装吧!
不知道怎么准备的,我之前的文章 也许可以给你带来一些参考哦 - - - ☞ 搭建hadoop集群
大型数据库(6)— ZooKeeper安装与配置.
开始安装
- 我的两个基础软件Hadoop、Java 分别是在/usr/hadoop 和 /usr/java下
- 其他的都安装在 ~/Hadoop 的文件夹下
- Storm不仅需安装在hadoop-master下,还需部署在slave机上
安装并配置Storm
1. 解压
$ cd ~/下载
$ cp apache-storm-2.2.0.tar.gz ~/Hadoop
$ cd ~/Hadoop
$ tar -zxvf apache-storm-2.2.0.tar.gz
$ mv apache-storm-2.2.0 storm-2.2.0
$ cd storm-2.2.0/conf
2. 配置
2.1 storm.yaml
// 将此处的部分改为:
storm.zookeeper.servers:
- "hadoop-master"
- "hadoop-slave1"
- "hadoop-slave2"
storm.local.dir: "/tmp/storm"
nimbus.host: "hadoop-master"
nimbus.seeds: ["hadoop-master"]
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
ui.port: 8888
// 注意这里改为自己的master机名称,和slave机名称
2.2 本机测试
此时,您可以在master主机上,稍微试试水…
$ cd ~/Hadoop/storm-2.2.0/bin
$ ./storm nimbus # 后台托管 ./storm nimbus >/dev/null 2>&1 &
$ ./storm ui # 后台托管 ./storm ui >/dev/null 2>&1 &
输入
$ jps
将会看到
打开网页http://192.168.56.1:8888/
可以看到
这样,你的master机基本上就配置好了!
我们先将其停掉,继续往后配置!
3. 将Storm安装文件复制到Slave节点
$ cd ~/Hadoop
$ scp -r storm-2.2.0/ hadoop-slave1:~/Hadoop/
$ scp -r storm-2.2.0/ hadoop-slave2:~/Hadoop/
4. 启动Storm
// slave 单纯启动 supervisor 即可,UI 在 hadoop-master 查看
// 首先是保证 各个机器 都开启了 zookeeper
$ cd ~/Hadoop/zookeeper-3.6.3/bin
$ ./zkServer.sh start
// hadoop-master
$ cd ~/Hadoop/storm-2.2.0/bin
$ ./storm nimbus # storm nimbus >/dev/null 2>&1 &
$ ./storm ui # storm ui >/dev/null 2>&1 &
$ ./storm supervisor # storm supervisor >/dev/null 2>&1 &
// hadoop-slave1、hadoop-slave2
$ cd ~/Hadoop/storm-2.2.0/bin
$ ./storm supervisor # storm supervisor >/dev/null 2>&1 &
hadoop-master 成功启动
浏览器打开http://192.168.56.1:16010
往下滑 可以看到以下页面
hadoop-slave1、hadoop-slave2 启动成功
其他
关于怎么结束掉上面几个的运行,好像没法像什么好的方法
我自己实验通常就暴力点 $ kill -9 pid
简单粗暴!
参考文章:
W3Cschool Apache Storm安装
Storm集群安装部署步骤【详细版】