Storm(0.9.7)集群搭建

搭建strom集群需要提前安装JDK、Zookeeper.在linux中解压之后修改配置文件storm.yaml。
1)storm.zookeeper.servers: 用于指定Zookeeper服务器的地址

storm.zookeeper.servers:
     - "node9"
     - "node10"
     - "node11"

2)设置storm存储数据的本地目录

storm.local.dir: "/opt/data/storm"

3)指定storm集群那一台机器作为nimbus,从而worker可以从nimbus获取数据

nimbus.host: "node1"

4)指定supervisor机器上可以运行多少worker进程。每一个端口都可以启动一个worker进程,比如下面设置了四个端口,那么在一台supervisor机器中最多可以运行4个worker。在supervisor启动后,worker进程并不会立即启动,只有任务来临时才会启动,任务结束后worker进程自动关闭。

supervisor.slots.ports: 
    - 6700
    - 6701
    - 6702
    - 6703

5)配置结束后,使用scp命令将修改的storm.yaml文件拷贝到集群的其他节点上

6)集群运行结束命令

// 运行主节点:nimbus
storm nimbus &
// 运行从节点:supervisor
storm supervisor &
// 运行web ui:core,运行后可以通过浏览器中8080端口查看如:http://192.168.246.181:8080
storm ui &
// 运行自带的测试例子WordCount
storm jar storm-starter-0.9.7.jar storm.starter.WordCountTopology WordCount

// 停止进程运行和杀死拓扑作业
pkill -f nimbus
pkill -f supervisor
pkill -f ui
storm kill WordCount

猜你喜欢

转载自blog.csdn.net/llmys/article/details/78895923