大数据学习笔记之strom----实时流处理引擎

概述

Apache Strom是开源分布式实时计算系统,为Apache的顶级项目,同Hadoop一样Strom也可以处理大批量数据,然而Strom在保证高可靠的前提下还可以让处理进行得更加实时,也就是说,所有得信息都会被处理。Strom同样还具备容错和分布式计算这些特性,这就让Strom可以扩展到不同得机器上进行大批量得数据处理。

Strom可水平扩展,支持容错,保证所有数据被处理,易于安装维护,可以使用各种程序设计语言开发,具备高性能,单节点每秒可以处理上百万记录。

Strom体系结构

Strom是典型的Master-Slave架构,Strom集群中有两种节点,一种是控制节点(Nimbus节点),另一种是工作节点(supervisor节点)。Topology任务提交给Nimbus节点,Nimbus分配给其他Supervisors节点进行处理。Nimbus节点首先将提交的Topology进行分片,分成一个个的Task,并将Task和Supervisors相关的信息提交到Zookeeper集群上,Supervisor会去Zookeeper集群傻瓜认领自己的Task,通知自己的worker进程进行Task的处理。

 

 

发布了14 篇原创文章 · 获赞 15 · 访问量 3992

猜你喜欢

转载自blog.csdn.net/wsq_zqfl/article/details/96965580