一.storm的并行介绍
并行意味着多个jobs分布在不同的节点上,并且相互之间没有依赖,且每个节点都可独立运行。
而在storm上,storm提交的jobs(任务)通过nimbus分发到多个supervisor上,jobs的执行都是通过supervisor来运行和执行的。
1.worker: 代表一个进程
在storm的配置文件storm.yml中supervisor.slots.port配置的个数,可以看做一个worker就对应一台机器上配置的slot。nimbus会把任务分发到不同的supervisor上,所有提交的job都是通过supervisor来执行和运行的。一个topology有多个spout bolt构成,一个work在执行时可能执行了一个topology中的spout 或者bolt,总之,work是一个进程级别的,由supervisor负责管理、启动、监控这个进程,然后再将运行后的数据反馈给nimbus。
2..executor:代表一个线程
每个executor只运行topology下的spout bolt中的一个或者多个实例,executor可以被动态的修改