大数据概述
大数据时代
三次信息化浪潮
信息科技为大数据时代提供技术支撑
-
存储设备容量不断增加。
-
CPU处理能力大幅提升。
-
网络带宽不断增加。
数据产生方式的变革促成大数据时代的来临
大数据的发展历程
大数据概念
数据量大
-
大数据不仅仅是数据的“大量化”，而是包含“快速化”、“多样化”和“价值化”等多重属性。
-
根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）。
-
人类在最近两年产生的数据量相当于之前产生的全部数据量。
数据类型繁多
- 大数据是由结构化和非结构化数据组成的：
- 10%的结构化数据，存储在数据库中。
- 90%的非结构化数据，它们与人类信息密切相关。
处理速度快
-
从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少。
-
1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同。
价值密度低
-
价值密度低，商业价值高。
-
以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业价值。
大数据的影响
-
图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式。
-
在思维方式方面，大数据完全颠覆了传统的思维方式：
- 全样而非抽样。
- 效率而非精确。
- 相关而非因果。
大数据关键技术
-
大数据技术的不同层面及其功能
-
两大核心技术：
- 分布式存储
- GFS\HDFS
- BigTable\HBase
- NoSQL（键值、列族、图形、文档数据库）
- NewSQL（如： SQL Azure）
- 分布式处理
- MapReduce
- 分布式存储
大数据计算模式
大数据产业
- 大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合。
大数据与云计算、物联网的关系
云计算
-
云计算概念
-
云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
-
云计算的服务模式和类型
-
云计算关键技术
- 云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等。
-
云计算数据中心
- 云计算数据中心是一整套复杂的设施，包括刀片服务器、宽带网络连接、环境控
制设备、监控设备以及各种安全装置等。 - 数据中心是云计算的重要载体，为云计算提供计算、存储、带宽等各种硬件资源，为各种平台和应用提供运行支撑环境。
- 云计算数据中心是一整套复杂的设施，包括刀片服务器、宽带网络连接、环境控
-
云计算产业
- 云计算产业作为战略性新兴产业，近些年得到了迅速发展，形成了成熟的产业链结构，产业涵盖硬件与设备制造、基础设施运营、软件与解决方案供应商、基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）、终端设备、云安全、云计算交付/咨询/认证等环节。
- 云计算产业链
物联网
-
物联网概念
- 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。
- 物联网体系架构
-
物联网关键技术
-
物联网中的关键技术包括识别和感知技术（二维码、 RFID、传感器等）、网络与
通信技术、数据挖掘与融合技术等。 -
物联网产业
- 完整的物联网产业链主要包括核心感应器件提供商、感知层末端设备提供商、网络提供商、软件与行业解决方案提供商、系统集成商、运营及服务提供商等六大环节。
- 物联网产业链
大数据与云计算、物联网的关系
-
云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有联系。
-
大数据、云计算和物联网之间的关系
