ICT技术基础--大数据

一、大数据产生背景

一个公司、企业创造的大量结构化和非结构化数据,这些数据下载到关系型数据库和非关系型数据库用于分析时会花费过多的时间和金钱。

大数据常和云计算联合在一起,实时的大数据分析需要向大量主机分配工作。

1996年SCI提出大数据,2001年gartner在评论中首先定义了大数据三个维度3v(数据容量、速度、种类),业界把3v扩展到11v主要包括volunme、velocity、variety、value等。

————————————————

大数据特性:

1、3V

2001年麦塔集团(META Group)分析师莱尼在一份报告中对大数据提出了“3D数据管理”的观点,即认为大数据将往高速、多样、海量3个方向发展,提出了3个特性:高速性(Velocity)、

多样化(Variety)、规模化(Volume),统称3V。

3V特性是大数据最具代表性的特性,被麦肯锡、IBM、微软等多家公司所认可并不断在大数据报告中提及。IDC(International Data Corporation,国际数据公司)在给大数据下定义时便

是引用了3V的特性:“大数据技术是新一代的技术与架构,它被设计用于在成本可承受的条件下,通过非常快速(velocity)的采集、发现和分析,从大体量(volumes)、多类别

(variety)的数据中提取价值”。

2、4V

4V也是广受认可的大数据特性,在3V的基础上再加上了价值(Value)的维度,主要强调大数据的总体价值大,但价值密度低。

规模性(Volume,存储大、计算量大)、多样性(Varity,来源多,格式多)、高速性(Velocity,生产速度快、处理速度要求快)和价值性(Value,大量数据中价值数据提纯),合称“4V”。

另外,还有一种大数据观点是“4V+1O”,在4V的基础上再加上1个O,即数据在线(Online),强调数据永远在线,能随时调用和计算,这也是有别于传统数据的特性之一。

3、5V、6V、7V、8V

随着大数据技术的不断发展,数据的复杂程度愈来愈高,不断有人提出了大数据特征新的论断,在4V的基础上增加了准确性(Veracity),强调有意义的数据必须真实、准确;增加了

动态性(Vitality),强调整个数据体系的动态性;增加了可视性(Visualization),强调数据的显性化展现;增加了合法性(Validity),强调数据采集和应用的合法性,特别是对于个

人隐私数据的合理使用。

————————————————

原文链接:https://blog.csdn.net/implok/article/details/79932798

二、大数据定义

指无法在可承受的时间内用软硬件按进行捕捉、管理和处理的数据集合,需要新处理模式才能具有更强的决策力、洞察力和流程优化等海里、多样化的信息资产能力。

三、数据分类

1、结构化数据

可以存在数据库中用二维表结构、逻辑表结构

2、非结构化数据

不方便用二位表来存储的结构化数据,包括办公文件、图片、xml、html各类报表图像和音频、视频信息等

3、半结构化数据

介于结构化数据和非结构化数据之间,html文档半结构化数据

四、大数据的价值

应用场景:卫星测绘存储海量数据、金融证券盘活归档数据深挖存量数据价值、能源勘测降低成本、媒体娱乐高清视频剪切。

企业:竞争能力、决策及时、成本控制

事业组织:科学探索、知识服务、社会安全

五、大数据带来的挑战

1、传统网络架构

垂直访问不适合水平访问需求,需对架构进行重构

2、数据中心面临巨大压力

计算、存储、网络子系统相对独立,用于大数据处理的数据中心需要更高的资源利用率、自动化,需要应用虚拟化、云计算等技术对子系统整合。重构过程中增加了技术复杂性给规划、建设、运维带来压力和新的挑战。

3、数据仓库

传统数据库对结构化数据支持良好,不适应非结构、半结构在数据上的处理需求,无法高效处理。

六、大数据解决方案

大数据时需求,云计算是解决之道,云计算时平台,大数据是应用。

云计算:整合计算、存储和网络等资源。提供基础架构弹性伸缩的能力。

大数据:在云计算平台支撑下调度下层资源进行数据源加载、计算和最终结果输出。

七、大数据对运营商的价值

经营:##

网络:##

运维:降低投诉率、提升网络质量、提高客户满意度。

八、如何面对大数据

从传统被动应对业务到主动挖掘价值

猜你喜欢

转载自www.cnblogs.com/YanFeiXiang/p/11858852.html