Storm基础(二)--Storm的应用场景

概述

要从海量数据中提取加工对业务有用的信息,选取合适的技术将事半功倍,省去了重新造轮子的烦恼。对海量数据进行批处理运算,Hadoop依旧保持着无法撼动的地位。但在对实时性要求较高的应用场景中,Hadoop就显得力不从心。它需要将数据先落地存储到HDFS上,然后再通过MapReduce进行计算。这样的批处理运算流程使它很难将延时缩小到秒级

Storm的处理速度最快可以达到毫秒级别。Storm的QPS (Query Per Second)达到9万~10万。

JStorm QPS(12万~11万)。此外,对于实时处理的技术,还可以用Spark Streaming。

Storm的另外一个优势在于:Storm可以一个一个tuple处理,(细粒度处理),所以像金融领域的实时流处理,优先选择Storm。

Storm是基于数据流的实时处理系统,提供了大吞吐量的实时计算能力(因为Storm是一个分布式架构)。每条数据到达系统时,立即在内存中进入处理流程,并在很短的时间内处理完成。实时性要求较高的数据分析场景,都可以尝试使用Storm作为技术解决方案。

 

应用场景

1.语音实时墙

以移动互联网行业中的智能手机移动APP为对象,实时统计用户的访问频率和访问地址,并将统计实时反映在前端页面的地图中,投影到大显示屏上。

移动互联是非常热门的行业,而且这个行业也诞生了不少优秀的应用,用户量也非常巨大,微信就是其中的一款应用。在用户量巨大的前提下,移动APP的安装、浏览和点击的日志数量会成几何级数暴增,基于这些日志数据的统计分析,特别是实时计算方面,实现的难度比较高,借助实时计算框架进行开发的门槛则会降低很多。Storm恰恰是众多实时计算框架中的首选。

语音“实时墙”项目的需求是将用户登录的地点实时显示在地图上,数据量为每天一亿,每秒峰值20000,要求系统具备高可靠性,某些单点出现问题不能对服务造成影响,数据落地到数据展示的时延在30s内。Hadoop处理MapReduce任务会花费分钟级别,这显然不能满足业务对数据实时性秒级别的需求,Storm这个实时的、分布式以及具备高可靠性的计算系统,能较好地弥补Hadoop执行MapReduce任务分钟级别的不足,全内存计算使得寻址速度是Hadoop硬盘寻址速度的百万倍以上,因此Storm解决高并发瓶颈,能让数据的输入输出处理更加安全、快速,稳定地处理并发及安全性也将保证复杂繁琐的数据收集准确而高效。

2.网络流量流向实时分析

通过Storm实时分析网络流量流向,并将实时统计反映在前端页面的图表中以备查询。网络流量流向是IP网络运营管理的重要基础数据,通过采集和分析流量数据,运营商可以了解整个网络的运行态势、网络负载状况、网络安全状况、流量发展趋势、用户的行为模式、业务与站点的接受程度,还可以为制定灵活的资费策略和计费方式提供依据。

3.交通—基于GPS的实时路况分析

基于GPS数据,通过Storm可以做实时路况分析系统。实时路况能实时反映区域内交通路况,指引最佳、最快捷的行驶路线,提高道路和车辆的使用效率。

目前,提供路况服务的公司主要有三家:世纪高通、北大千方(收购掌城)、九州联宇。它们为百度地图和Google地图这些路况数据的应用服务商提供数据。

猜你喜欢

转载自blog.csdn.net/weixin_44481878/article/details/88871358