storm 应用场景:事实的数据流处理
大数据系列:
1、安装一个zookeeper集群
2、上传storm的安装包,解压
3、修改配置文件storm.yaml
#所使用的zookeeper集群主机
storm.zookeeper.servers:
- "weekend05"
- "weekend06"
- "weekend07"
#nimbus所在的主机名
nimbus.host: "weekend05"
#启动进程数 即worker数,下面数字是端口号
supervisor.slots.ports
-6701
-6702
-6703
-6704
-6705
启动storm
在nimbus主机上(后面参数不添加,则是客户端启动)
nohup ./storm nimbus 1>/dev/null 2>&1 &
nohup ./storm ui 1>/dev/null 2>&1 &
在supervisor主机上
nohup ./storm supervisor 1>/dev/null 2>&1 &
UI启动后通过8080访问: http://cloud1:8080/
Storm 安装后将测试程序打为jar包 到storm的nimbus机器中执行
./storm jar jar名称 jar的主类名称 提交后程序会一直在后台运行,就算机器关机后重启一样会继续运行
./storm list 查看运行的storm程序
./storm kill storm程序名称 就可以停止运行的程序
几个名词理解:worker ,Executor , Spout/Bolt
一个storm程序会在多个机器运行,每个机器有多个进程(worker) ,
每个进程有多个线程(Executor)
每个线程又运行着若干个相同的Task(Spout/Bolt)
jps 线程:core nimbus supervisor