分布式实时处理系统Hurricane的架构

Hurricane总体架构图

各部件介绍

• Spout是消息源，拓扑结构中所有的数据都来自消息源，而消息源也是拓扑结构中消息流的源头。
• Bolt是消息处理单元，负责接收来自消息源或数据处理单元的数据
  流，并对数据进行逻辑处理，然后转发到下一个消息处理单元，基本封装了所有的数据处理逻辑。
• SpoutExecutor是一个线程，是所有消息源的执行者，每一个SpoutExecutor负责执行一个消息源
• BoltExecutor也是一个线程，是所有消息处理单元的执行者，每个BoltExecutor负责执行一个消息处理单元。
  
  • SpoutExecutor会永不停息地运行，而BoltExecutor则会等到数据到来才启动。
• Manager是单个节点任务的管理者，负责创建执行器对象，与中心节点通信，并接收来自其他节点的数据，将这些数据分发到对应的Bolt中，让Bolt进行处理。
• President是整个集群的中心节点，负责收集用户的请求，并将用户定义的拓扑结果发送给正在运行的其他各Manager，同时也会通过向各Manager收集信息，了解各节点的执行情况，同时为每个Executor分配对应的任务。