storm 1.1.0 与 kafka 2.10-0.10.2.1的安装部署

1、安装Zookeeper

由于这两者都需要Zookeeper的支持,因此需要安装zookeeper集群,然后用zkServer.sh start启动集群

2、解压storm安装包

在master机器上解压storm 1.1.0-tar.gz到/usr/local下
sudo tar -zxvf apache-storm-1.1.0-tar.gz -C /usr/local

3、更改文件所有者

进入 /usr/local中,将storm-1.1.0改为storm,并且改变文件所有者
sudo mv ./apache-storm-1.1.0 ./storm
sudo chown -R hadoop:hadoop ./storm

4、修改storm的配置文件storm.yaml

按照图中所示配置zookeeper链接和nimbus机器、工作目录(事先创立好)、supervisor的工作端口

5、将master上的storm发往slave1\slave2

scp -r /usr/local/storm slave1:~
scp -r /usr/local/storm slave2:~


6、在slave1、slave2上分别建立storm工作目录,并将storm移动至/usr/local

7、在master上启动nimbus并查看相关进程(可先配置storm环境变量)

storm nimbus &

8、在slave1、slave2上启动supervisor进程,并用jps查看相关进程

9、在master上启动ui线程,并通过web页面(master:8080)查看信息

storm ui &

10、解压kafka安装包

在master机器上解压kafka_2.10-0.10.2.1-tar.gz到/usr/local下
sudo tar -zxvf kafka_2.10-0.10.2.1-tar.gz -C /usr/local

11、更改文件名和所有者

进入/usr/local
sudo mv ./kafka_2.10-0.10.2.1 ./kafka
sudo chown -R hadoop:hadoop ./kafka

12 、修改kafka配置文件 conf/server.properties

如图所示,配置block.id(每台机器不一样)、zookeeper信息、日志目录、和分区大小

13、建立上一步骤所配置的日志目录

mkdir kafka-logs

14、将kafka目录发往slave1\slave2,并且移动到这两台机器的/usr/local上 ,在两台机器上都建立kafka-logs目录

scp -r /usr/local/kafka slave1:~
scp -r /usr/local/kafka slave2:~

15、修改slave1\slave2上的配置文件(主要修改broker.id)

slave1:

slave2:

16、在每台节点上启动broker,并用jps检验

kafka-server-start.sh /usr/local/kafka/config/server.properties

17、在kafka集群建立topic

kafka-topics.sh --create --zookeeper zookeeper机器地址 --replication-factor 备份数 --partitions topic切为几份 --topic topic名

kafka-topics.sh --list --zookeeper zookeeper机器地址查看所有主题

18、用一个producer向某一个topic中写入消息

kafka-console-producer.sh --broker-list broker机器地址 --topic 主题名

19、用一个comsumer从某一个topic中读取信息 (from-beginning表示从头读)

kafka-console-consumer.sh --zookeeper zookeeper机器地址 --from-beginning --topic 主题名

20、在生产者中写入数据,检验消费者终端的输出

猜你喜欢

转载自blog.csdn.net/phn_csdn/article/details/73826618