Review 大数据技术为什么快?

大数据技术为什么快


1、传统的时纵向扩展
服务器数量不发生变化,配置越来越高(发生变化)
大数据横向扩展
配置不发生变化,服务器数量越来越多(发生变化)
2 传统的方式资源(cpu/内存/硬盘)集中
大数据方式资源(cpu/内存/硬盘)分布(前提:同等配置的前提下)
3 传统数据备份方式单份备份
大数据数据备份方式多分备份(数据复制,默认三个副本)
4 传统的计算模型是移动数据到程序端
大数据计算模型是移动程序到数据端
io 和网络的使用率都非常低,且多节点存储,多节点计算(众人拾柴火焰高)


hadoop版本


1.0 hadoop指的是HDFS+Mapreduce
2.0 hadoop指的是HDFS+Mapreduce+yarn


hadoop三大公司


免费开源版本apache:http://Hadoop.apache.org/
hortonWorks公司 免费版本 收费版本
Cloudera (CDH) 免费版本 收费版本


Hadoop的组成部分


1、HDFS:海量数据的存储系统
2、Map Reduce:海量数据的计算系统(计算框架)
3、YARN:集群资源管理(调度)的框架。

 

发布了229 篇原创文章 · 获赞 300 · 访问量 30万+

猜你喜欢

转载自blog.csdn.net/bbvjx1314/article/details/105443767