40.大数据之旅——java分布式项目之大型互联网企业及其架构变迁历程

版权声明:版权归零零天所有 https://blog.csdn.net/qq_39188039/article/details/86589136

大型互联网企业及其架构变迁历程


目前,全球有一半的人口在使用互联网,互联网发展最快,发展最好的国家是中国,中国人口多,用户基数大。但是,也正是这个因素,促使中国的互联网技术更新非常迅速,发展非常快。中国在近20年的时间里,涌现了大量的互联网企业,其中具有代表性的企业,比如腾讯,百度,淘宝,京东等,国外企业,Google。
互联网企业也面临的巨大的挑战
比如:
面对用户的高并发访问,尤其像双11促销活动,秒杀活动这种时刻,数据读写丢失、服务器故障、操作延迟甚至是服务器宕机都是经常遇到的问题。
面对海量数据的存贮和管理,比如Google,在全球有36个数据中心,超过100万台的服务器,存储了数百亿的URL及PB级别的用户数据,每天要处理超过20PB的数据(1PB=1024TB,1TB=1024GB)。facebook每周上传的照片数量近10亿。如何去管理如此海量的数据?如果从这些海量数据里,快速响应出用户需要的数据?这个需要极为复杂的分布式文件管理系统以及最优秀的算法来保证。
要考虑硬件成本问题。比如数据中心的选址:当地的电力是否廉价,是否靠近湖泊(因为设置冷却需要靠大量的水源),用地广阔,和其他数据中心的距离(涉及到数据的交互和传输)
如何实现高可用,7*24小时不间断的工作。第一代码要健壮,第二要做好服务器的集群管理,比如有一台机器坏掉之后,必须马上又有一台机器拉起来,顶起其工作,第三,要做好容灾准备,比如断电的问题,Google的服务器,每台服务器都有一颗电池,确保断电后可持续供电。
如何保证系统安全性,2010年百度域名被黑客劫持导致不能访问,带来不可估量的经济损失。

互联网企业的特点:

  1. 技术新,技术更新快
  2. 采用分布式集群管理
  3. 能够应对高并发访问
    2016年,Google每分钟搜索380万次,QQ,最大在线人数超过2亿多,淘宝2015年双11活动刚开始的一份中之内,就涌入了1000万的独立用户,每秒处理的交易操作,峰值的时候,达到千万笔交易数量。
  4. 是高可用的
    系统7X24小时不间断运行
  5. 能够存储和管理海量数据
    需要存储、管理海量数据,需要使用大量服务器。facebook每周上传的照片数量近10亿,百度收录的网页数量数百亿,Google有近百万台服务器为全球用户提供服务。
  6. 业务特殊
    网站访问特点遵循二八定律:80%的业务访问集中在20%的数据上。即那些热门商品或热门词汇上。
  7. 在系统安全
    互联网企业系统部署架构变迁图:
    阶段一:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

上一篇 39.大数据之旅——网站流量统计项目之数据存储(HBase)

猜你喜欢

转载自blog.csdn.net/qq_39188039/article/details/86589136