storm并行度核心概念介绍剖析

一.storm的并行介绍

  并行意味着多个jobs分布在不同的节点上,并且相互之间没有依赖,且每个节点都可独立运行。

  而在storm上,storm提交的jobs(任务)通过nimbus分发到多个supervisor上,jobs的执行都是通过supervisor来运行和执行的。

  1.worker: 代表一个进程

    storm的配置文件storm.ymlsupervisor.slots.port配置的个数,可以看做一个worker就对应一台机器上配置的slotnimbus会把任务分发到不同的supervisor上,所有提交的job都是通过supervisor来执行和运行的。一个topology有多个spout bolt构成,一个work在执行时可能执行了一个topology中的spout 或者bolt,总之,work是一个进程级别的,由supervisor负责管理、启动、监控这个进程,然后再将运行后的数据反馈给nimbus。

  2..executor:代表一个线程

    每个executor只运行topology下的spout bolt中的一个或者多个实例,executor可以被动态的修改

猜你喜欢

转载自www.cnblogs.com/MrRightZhao/p/11041272.html