lamba数据架构以及数据湖

  面试大数据项目,面试过程中发现面试官提到的两个概念没有搞清楚:

  1. lamba数据架构;这个概念的提出是由storm的作者提出来的,其实主旨就是想要说明,数据的处理分成三层,一类是批处理程序(batch laryer,非实时),比如午夜跑出来的报表,可以供第二天进行消费;第二类是实时增量处理数据(speed layer),比如通过kafka等流计算工具进行的实时增量处理;第三层就是service layer,是对外提供服务的层,既可以访问batch layer或者realtime layer,还可以整合两者数据然后对外提供服务。

  2. 数据湖,数据湖其实是一个很模糊的概念,笼统的来理解就是可以集成各个源的数据;数据湖最大价值其实是中转站,这个概念其实是和数据水库很像(水库,就是用于临时蓄水),数据水库的价值在于收集各个源的数据后,给后端的数据仓库使用;数据湖的概念比数据水库又多了一个:数据水库的消费者可能会比较多,不仅仅是数据仓库,可能是其他的目的地。

  数据湖最大的误区在于两个:

  第一个是数据湖用于存储数据;数据如果只是为了存储而存储是最大的资源浪费,数据的存在一定是为了利用和消费;所谓消费就是一定是有某种机制可以不断的让数据湖中的数据减少;当然数据湖还会不断被注入新的湖水;

  第二个就是将自助式查询服务暴露给普通的用户;因为数据湖里面的数据都是原始数据,如果让缺乏数据经验的人来进行处理很可能会导致服务器压力;最好让数据科学家的数据专家来使用数据湖里面的数据。

参考:

数据系统架构——Lambda architecture

https://yq.aliyun.com/articles/57876?spm=a2c4e.11155435.0.0.58375483oWJayU

数据湖只是个哗众取宠的伪概念吗?

http://www.infoq.com/cn/articles/is-the-data-lake-just-a-grandstanding-concept

猜你喜欢

转载自www.cnblogs.com/xiashiwendao/p/9118778.html