流式计算

1、数据的时效性

日常工作中,我们一般会先把数据储存在一张表中,然后对这张表的数据进行加工、分析。既然数据要储存在表中,就有时效性这个概念。

如果我们处理的是年级别的数据,比如人口分析、宏观经济分析,那么数据最新日期距今晚个一两周、甚至一两个月都没什么关系。

如果我们处理的是天级别的数据,比如各大网站的用户偏好分析、零售供销分析,一般晚个几天也是可以的,即 T+N 更新。

如果是小时级别的数据,对时效性要求就更高了,比如金融风控,涉及到资金的安全,必须有一张小时级别的数据。

那么还有没有要求更高的?当然有了,比如风险监测,网站必须有实时监测系统,一旦有攻击,就必须立刻采取措施,双十一或者周年庆的时候,各大电商平台都经历着严峻的流量考验,也必须对系统进行实时的监测。此外,网站的实时个性化推荐、搜索引擎中也对实时性有极高的要求。

在这种场景下,传统的数据处理流程——先收集数据,然后放到DB中,再取出来分析——就无法满足这么高的实时要求,在隔壁,有一种叫“流式计算”的处理方法。

2、流式计算与批量计算

刚刚说的:收集数据 - 放到DB中 - 取出来分析 的传统的流程,叫做批量计算,顾名思义,将数据存起来,批量进行计算。

而流式计算,也跟名字一样,是对数据流进行实时计算,它不是更快的批计算,可以说,是完全不同的处理思路。

通过与批量计算进行对比的方式,介绍下其原理:

(1) 与批量计算那样慢慢积累数

猜你喜欢

转载自blog.csdn.net/luolan_hust/article/details/113726529