The first chapter outlines big data
1.1 Big Data era
1.1.1 The third wave of information technology
| Wave of information technology | Time of occurrence | Mark | solved problem | On behalf of the enterprise |
|---|---|---|---|---|
| First Wave | 1980 | Personal computer | Information Processing | Intel, AMD, IBM, Apple, Microsoft, Lenovo, Dell, HP, etc. |
| Second Wave | After 1995 years ago | the Internet | Information transfer | Yahoo, Google, Alibaba, Baidu, Tencent, etc. |
| Third Wave | After 2010 | Things, and a large cloud data | Information explosion | Amazon, Google, IBM, VMWare, Palantir, Hortonworks, Cloudera, Ali cloud, etc. |
1.1.2 Information Technology to provide technical support for big data era
Information technology need to address information storage, information transmission and information processing three core issues of human social progress in the field of information technology, providing technical support for the arrival of the era of big data.
1. The storage device capacity increased
The data is on disk, tape, optical disk, flash memory and other types of storage media, with the continuous progress of science and technology, manufacturing processes escalating storage devices, a substantial increase in capacity, speed continues to increase, the price was declining memory.
Flash memory is a semiconductor memory emerging from the 1989 birth of the first flash memory products began to flash memory technology continues to gain new breakthrough, and gradually establish their important role in computer storage products in the market. Flash memory is a non-volatile memory will not be lost even if the power failure data; Thus, as the permanent storage device, it has a small size, light weight, low energy consumption, good vibration resistance and other excellent properties.
Technology maturity curve (important)
2.CPU processing capacity has increased significantly
And improve CPU processing speed is also an important factor in increasing the amount of data prompted. And improve performance CPU, greatly improving the ability to process data so that we can deal with accumulating massive amounts of data quickly.
3. Network bandwidth is increasing
The mobile communication broadband network rapidly, 3G networks basic universal, 4G network coverage increasing, various terminal devices can transmit data anywhere, anytime. The era of big data, information transmission no longer suffer early network development bottlenecks and constraints.
1.1.3 change the way the data generated led to the advent of the era of big data
数据产生方式的变革，是促成大数据时代来临的重要因素。总体而言，人类社会的数据产生方式大致经历了3个阶段：运营式系统阶段、用户原创内容阶段和感知式系统阶段。
1.1.4 大数据的发展历程
大数据的发展历程总体上可以划分为3个重要阶段：萌芽期、成熟期和大规模应用期。
1.2 大数据的概念
大数据不仅仅是数据的“大量化”，而是包含“快速化”、“多样化”和“价值化”等多重属性。
大数据的四个特征：
“4V”：
1.数据量大（Volume）
2.数据类型繁多（Variety）
3.处理速度快（Velocity）
4.价值密度低（Value）
1.3 大数据的影响
1.大数据对科学研究的影响
图灵奖获得者、著名数据库专家Jim Gray博士观察并总结人类自古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式。
2.大数据对思维方式的影响
在思维方式方面，大数据完全颠覆了传统的思维方式：
－全样而非抽样
－效率而非精确
－相关而非因果
3.大数据对社会发展的影响
在社会发展方面，大数据决策逐渐成为一种新的决策方式，大数据应用有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技术和新应用的不断涌现。
4.大数据对就业市场的影响
在就业市场方面，大数据的兴起使得数据科学家成为热门职业。
5.大数据对人才培养的影响
在人才培养方面，大数据的兴起，将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。
1.4 大数据的应用
大数据无处不在，包括金融、汽车、餐饮、电信、能源、体育和娱乐等在内的社会各行各业都已经融入了大数据的印迹。
1.5 大数据关键技术
所谓大数据技术，是指伴随着大数据的采集、存储、分析和应用的相关技术，是一系列使用非传统工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理和分析技术。
从数据分析全流程的角度，大数据技术主要包括数据采集与预处理、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容。
1.6 大数据计算模式
1.7大数据产业
1.8大数据与云计算、物联网
云计算
1.概念
云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。（云计算就是利用我们所有计算资源把它组合起来按需提供服务，用户按需付费使用资源，可以什么时候需要多少买多少）
2.关键技术
云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等
3.数据中心
云计算数据中心是一整套复杂的设施，包括刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装置等。
数据中心是云计算的重要载体，为云计算提供计算、存储、带宽等各种硬件资源，为各种平台和应用提供运行支撑环境。
全国各地推进数据中心建设。
4.应用
5.云计算产业
云计算产业作为战略性新兴产业，近些年得到了迅速发展，形成了成熟的产业链结构，产业涵盖硬件与设备制造、基础设施运营、软件与解决方案供应商、基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）、终端设备、云安全、云计算交付/咨询/认证等环节。
物联网
1.概念
物联网是物物相连的互联网，是互联网的延伸，它利用局域网络或互联网等通信技术把传感器、控制器、机器、物以及人员等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。
2.关键技术
物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术等。
3.应用
Things have been widely used in intelligent transportation, medical wisdom, smart home, environmental monitoring, smart security, smart logistics, smart grid, intelligent agriculture, intelligent industry and other fields of national economy and social development played an important role in promoting.
4. Industry
A complete industrial chain of things including induction core component vendors, perception layer terminal equipment providers, network providers, software and industry solutions provider of the six sectors, system integrators, operators and service providers.
Relationship with big data cloud computing, networking
Cloud computing, big data and the Internet of Things represents the latest trends in the field of IT technology, three different but related.
chapter summary
