it公司大数据情况

公司

计算模型

数据中心

备注

亚马逊

Spark,hadoop

AWS服务在全世界有 11个区域云,每个区域有多组数据中心,每组有至少一个数据中心,每个数据中心有5万到8万台服务器,它在全世界有 28 组数据中心,估计超过 150 万台服务器。(2014数据)

Facebook

Hadoop

已经配备18万台服务器。Hadoop与Hive集群由3000台8核、32G内存、12TB空间的服务器组成,总计达到2.4万核、96TB内存、36PB空间。(2012数据)

百度

Hadoop

服务器的规模达到数十万台;数据规模已达到EB级别,数据总量接近两个EB,日志更新量每天超过1PB;最大单集群离线计算规模超万台,达到10万核的计算能力。(2015数据)

Google

Hadoop,dataflow

全球服务器估计2000万台。Google现在通过在巨大的服务器群集上运行平均100,000个MapReduce任务,来每天处理超过20PB的数据。Google一个标准的机器群集节点(node)是由2个2GHz Intel至强处理器(超线程),4GB内存,2个160GB IDE硬盘和1个千兆网络连接组成。(2013数据)

阿里

Spark,yarn

飞天5K单点集群拥有超过10万核计算的能力、100PB存储空间,可处理15万并发任务数,承载亿级别文件数目。(2013数据)

腾讯

Yarn

单集群最大规模达到6000台、CPU(14万核)、内存(380 TB)、磁盘( 7.2万块)、存储容量(100 PB)(2014数据)

Yahoo

Hadoop

在雅虎云对象存储上,每一个节点(被称作一个对象存储设备),有60TB的存储,这都是基于X86的服务器。雅虎已经尝试过每个节点配置12-72个设备。每个集群有54个这样的节点,总容量可达3.2 pb。

微软

Hadoop,spark

100万台服务器(2013数据)

猜你喜欢

转载自blog.csdn.net/b0207191/article/details/80734026
今日推荐