1、集群部署的基本流程
2、集群部署的基础环境准备
3、Storm集群部署
4、Storm集群的常用操作命令
5、Storm集群的进程及日志熟悉
6、Storm源码下载及目录熟悉
7、Storm 单词计数案列
1、集群部署的基本流程
集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群
注意：所有的集群上都需要配置hosts：vi /etc/hosts
2、集群部署的基础环境准备
1、storm安装依赖Python，所以在安装前请确保Python已经安装成功了
[root@hadoop1 software]# wget http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tar.bz2 [root@hadoop1 software]# tar -jxvf Python-2.6.6.tar.bz2 [root@hadoop1 software]# cd Python-2.6.6 [root@hadoop1 software]# ./configure [root@hadoop1 software]# make [root@hadoop1 software]# make install
2、在安装前要保证shizhan2,shizhan3,shizhan5之间能够互相两两之间ssh免登陆
3、安装好JDK
4、安转好Zookeeper集群(shizhan2、shizhan3、shizhan5)
3、Storm集群部署:
3.1.下载安装包：wget https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.1.2/apache-storm-1.1.2.tar.gz
3.2.解压安装包:
[root@shizhan2 software]# mkdir -p /export/servers/
[root@shizhan2 software]# tar -xzvf apache-storm-1.1.2.tar.gz -C /export/servers/
[root@shizhan2 software]# cd /export/servers/
[root@shizhan2 servers]# ln -s apache-storm-1.1.2 storm
3.3.修改配置文件:
配置文件：vi /export/servers/apache-storm-1.1.2/conf/storm.yaml
#指定strom使用的zk集群，如果Zookeeper集群使用的不是默认端口，那么还需要storm.zookeeper.port选项 storm.zookeeper.servers: - "hadoop11" - "hadoop12" - "hadoop13" #strom.local.dir : Nimbus和Supervisor进程用于存储少量状态，如jars、confs等的本地磁盘目录，需要提前创建该目录并给以足够的访问权限。然后在storm.yaml中配置目录，如： storm.local.dir: "/home/tuzq/software/stormInstallPath/workdir" #指定storm集群中的nimbus节点所在的服务器 nimbus.host: "hadoop1" #指定nimbus启动JVM最大可用内存大小 nimbus.childopts: "-Xmx1024m" #指定supervisor启动JVM最大可用内存大小 supervisor.childopts: "-Xmx1024m" #指定supervisor节点上，每个worker启动JVM最大可用内存大小 worker.childopts: "-Xmx768m" #指定ui启动JVM最大可用内存大小，ui服务一般与nimbus同在一个节点上。 ui.childopts: "-Xmx768m" #指定supervisor节点上，启动worker时对应的端口号，每个端口对应槽，每个槽位对应一个worker,对于Supervisor工作节点，需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息，该配置选线即用于接收消息，该配置选项用于定义哪些端口是可以被worker使用的。默认情况下每个节点下可以运行4个workers，分别在6700,6701,6702,6703端口，如： supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703
3.4.分发安装包：