Zookeepers+Kafka+Storm安装

今天上午花了一两小时搭建环境，由于我用的是单机所以比较简单，集群环境大体相同，最近工作中用到Zookeepers+Kafka+Storm来进行批量文件处理，这段时间准备深入研究一下。
ZooKeeper、Kafka、Storm都从apache.org上下载
第一：安装JDK
Zookeeper需要有jdk，必须先安装jdk
用wget下载jdk的jdk-8u191-linux-x64.tar.gz
mkdir -p /usr/java
解压：tar -zxf jdk-8u191-linux-x64.tar.gz
编辑配置文件： vi /etc/profile
#JAVA_HOME根据实际目录来
JAVA_HOME=/usr/java/jdk1.8.0_191
CLASSPATH= $JAVA_HOME/lib/ PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

使环境变量生效：source /etc/profile
如果不行就要重启linux
安装成功后查看：
查看环境变量：env
查看JDK版本： java -version

第二：安装ZooKeeper
用wget下载zookeeper-3.5.4-beta.tar.gz
解压：tar -zxf /root/zookeeper-3.5.4-beta
新建目录：
mkdir -p /usr/myapp/zookeeper-3.5.4/data
mkdir -p /usr/myapp/zookeeper-3.5.4/logs、
在config目录下：cp zoo_sample.cfg zoo.cfg
修改配置如下：
dataDir=/usr/myapp/zookeeper-3.5.4/data
dataLogDir=/usr/myapp/zookeeper-3.5.4/logs

第三：安装Kafka
参考：http://kafka.apache.org/documentation.html#quickstart

wget下载kafka_2.12-2.1.0.tgz 解压：tar -zxf kafka_2.12-2.1.0.tgz
启动： cd kafka_2.12-2.1.0
启动Kafka前必须启动ZooKeeper
bin/kafka-server-start.sh config/server.properties
创建一个topic:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看当前运行的topic:
bin/kafka-topics.sh --list --zookeeper localhost:2181
生产者发送一些信息：
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
输入信息：

Hello world
this a message
消费者接受信息：
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
接收信息：
Hello world
this a message

第四：安装Strom
（1）下载安装包，上传到Linux，解压到安装目录：
tar -zxf download/apache-storm-1.2.2.tar.gz
（2）配置conf/storm.yaml
主要部分如下（注意空格）：
storm.zookeeper.servers:
- “192.168.234.132”
nimbus.seeds: [“192.168.234.132”]

storm.local.dir: “/usr/myapp/storm”
nimbus.host: “192.168.234.132”
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
ui.port: 8082
（3）先启动zookeeper：
./zkServer.sh start
（4）启动storm的numbus节点
配置storm环境变量

[root@log1 apache-storm-0.10.0]# vim /etc/profile
export STORM_HOME=/usr/myapp/storm
export PATH= $STORM_HOME/bin:$PATH
[root@log1 apache-storm-0.10.0]# source /etc/profile
启动命令： nohup bin/storm nimbus >logs/nimbus-start.log 2>&1 &
（5）启动Storm的supervisor节点
启动命令：nohup bin/storm supervisor >logs/supervisor-start.log >&1 &
（6）启动Storm的UI节点
启动命令： nohup bin/storm ui >/dev/null 2>&1 &
（7）启动Logviewer
与UI节点相反的是，logviewer需要在每一个supervisor节点上，启动一个logviewer服务：
启动命令：nohup bin/storm logviewer>/dev/null 2>&1 &
（8）监控页面如下：
http://192.168.234.132:8082/index.html
看到页面说明安装成功