Google大数据三驾马车笔记

 1.谷歌三驾马车地位

【关键词】开启时代,指明方向

聊起大数据,我们通常言必称谷歌,谷歌有“三驾马车”:谷歌文件系统(GFS)、MapReduce和BigTable。谷歌的“三驾马车”开启了大数据时代,并为我们指明了大数据的发展方向。

2.谷歌三驾马车诞生
(1)诞生时间

【关键词】2010、2003、2004、2006
大数据在2010年开始有火起来的苗头,谷歌三驾马车诞生更早。谷歌文件系统第一次公开发表的论文是在2003年,MapReduce公开发表的时间是2004年,而BigTable则公开发表于2006年。
(2)诞生背景

【关键词】海量存储、倒排索引、增量更新

三驾马车”,主要是为谷歌的核心搜索业务服务的。谷歌搜索业务,需要存储整个互联网的内容,并且要在这个内容的基础上构建倒排索引。

谷歌文件系统:基于大量的廉价个人计算机的海量存储系统,它可以轻松地存储整个互联网的内容。

MapReduce:海量数据计算引擎,是Google第一代倒排索引基础,它可以大规模并行地处理整个互联网上的所有文档。有天然缺陷,每次更新索引需全量更新所有索引,耗时几天,新的信息更新不及时。

BigTable:一个键值存储系统,可存储一个主键的不同时期的多个版本的值。使用互联网地址作为某个BigTable的主键,只更新那些值已经发生变化的互联网地址,可实现增量更新索引。


Tips:倒排索引是对互联网内容的一种索引方法,是指从搜索词到对应的互联网文档的索引方法。用户可以通过搜索词去搜索互联网,返回的则是和搜索词相关的文档。之所以称为倒排索引,是因为文档到文档里面的词是顺序的,而从文档里面的词到文档是逆序的。

3.个性化广告推荐服务

【关键词】互联网模式,用户隐私数据分析

三驾马车其它应用,最著名的是个性化广告推荐业务。首创了流行互联网模式“羊毛出在狗身上,猪来买单”。
具体来说,谷歌通过提供免费的互联网服务,比如搜索、邮箱、地图等,然后记录并分析用户的使用习惯(狗),有针对性地为用户提供个性化的广告推荐服务(羊毛),企业广告主来买单。
个性化推荐实现,主要是利用谷歌对用户隐私数据的分析。谷歌文件系统和BigTable用来存储和记录用户的隐私信息和产品使用情况,MapReduce用来分析海量数据。

雅虎和Facebook,觉得凭借一己之力很难做到,于是开始抱团取暖,共同构建了后来闻名于世的Hadoop生态圈。

参考文档

猜你喜欢

转载自www.cnblogs.com/badboy200800/p/9834528.html