大数据的概念
大数据（big data）是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理、和处理的数据集合，
是需要采用新处理模式才能获取很多智能的、深入的、有价值的信息，
以期得到更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资源。
大数据具有5V特点：
Volume：大量；Velocity：告诉；Variety：多样；Value：价值和Veracity：真实性。
大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合。
大数据是具有体量大、结构多样、时效性请等特征的数据，处理大数据需要采用新型计算结构和智能算法等新技术。
大数据从数据源经过分析挖掘到最终获得价值一般需要经过5个主要环节：包括数据准备、数据存储与管理、计算处理、数据分析和知识展现。
大数据所涉及到的数据模型、处理模型、计算理论，与之相关的分布计算、分布存储平台技术、数据清洗和挖掘技术，流式计算、增量处理技术，数据控制等方面的研究和开发结果丰硕
大数据技术框架：
大数据关键技术
1.大数据存储技术：
大数据存储技术首先需要解决的是数据海量化和快速增长需求。
存储的硬件结构和文件系统的性价比要大大高于传统技术，存储容量计划应可以无限扩展，且要求有很强的容错能力和并发读写能力。
目前，谷歌文件系统（GFS）和Hadoop的分布式文件系统（HDFS）奠定了大数据存储技术的基础。
大数据存储技术第二个要解决的是处理格式多样化的数据，这要求大数据存储和管理系统能够对各种非结构化数据进行高效管理，代表产品如：谷歌BigTable和HadoopHbase等非关系型数据库（Nosql）。
2.大数据并行分析技术
大数据并行分析技术。
大数据的分析挖掘是数据密集型计算，需要巨大的计算能力，对计算单元和存储单元的数据吞吐率要求极高，并要求计算系统有非常好的性价比和扩展性。
谷歌的MapReduce是主要的大数据分布式并行计算技术之一，而开源的分布式并行计算技术Apache HadoopMapReduce，已成为应用最为广泛的大数据计算软件平台。
3.大数据分析技术
大数据分析技术的发展需要在两个方面取得突破：
一是对规模非常庞大的结构化数据和半结构化数据进行高效的深度分析；
二是对非结构化数据进行分析，将海量复杂多元的语音、图像和视频数据转化为机器可识别的、具有明确语义的信息，获取隐性的知识。
大数据的应用领域
1.互联网行业应用
互联网的访问行为包括：
访问的网站和页面，访问内容，停留时间，访问网页的关联性，狗奶行为，兴趣点，位置信息，社交信息等等。
2.传统领域的应用
大数据应用起源于互联网，正在向以数据生产、流通和利用为核心的金融、零售、电信、公共管理、医疗卫生等领域广泛渗透。
例如：金融机构通过收集互联网用户的微博数据、社交数据、历史数据来评估用户的信用级别和消费级别；
零售企业通过互联网用户数据分析商品销售趋势、用户偏好。
基于大数据的智慧城市也是大数据应用的重要领域，可整合来自经济、统计、民政、教育、卫生、人力等政府部门内部数据和来自互联网、移动互联网等网络数据。开通智慧医疗、智慧教育、智能物流、只能环保等应用。
大数据应用发展的目标
1）打造精准治理、多方协作的社会治理新模式
2）建立运行平稳、安全高效的经济运行新机制
3）构建以人为本、灰机全民的民生服务新体系
4）开启大众创业、万众创新的创新驱动新格局
5）培育高端智能、新型繁荣的产业发展新生态
大数据发展应用的主要任务
1）加快政府数据开放共享，推动资源整合，提升治理能力
（1）大力推动政府部门数据共享。加强顶层设计和统筹规划，明确各部门数据共享的范围边界和使用方式，厘清各部门数据管理及共享的义务和权力。
（2）稳步推动公共数据资源开放。在依法加强安全保障和隐私保护的前提下，稳步推动公共数据资源开放。
（3）统筹规划大数据基础设施建设。
（4）支持宏观调控科学化。
（5）推动政府治理精准化。
（6）推进商事服务便捷化。
（7）促进安全保障高效化。
（8）加快民生服务普惠化。
2）推动产业创新发展，培育新兴业态，助力经济转型
（1）发展工业大数据。
推动大数据在工业研究设计、生产制造、经营管理、市场营销、售后服务等产品全生命周期、产业链全流程各环节的应用，分析感知用户需求，提升产品附加价值，打造智能工厂。
（2）发展新型产业大数据。
大力培育互联网金融、数据服务、数据探矿、数据化学、数据材料、数据制药等新业态。提升相关产业大数据资源的采集获取和分析利用能力，充分发掘数据资源支撑创新的潜力。
（3）发展农业农村大数据。
构建面向农业农村的综合信息服务体系，为农民生产生化提供综合、高效、便捷的信息服务，缩小城乡数字鸿沟，促进城乡发展一体化。
（4）发展万众创新大数据。
（5）推进基础研究和核心技术攻关。
（6）形成大数据产品体系。
（7）完善大数据产业链。
3）强化安全保障，提高管理水平，促进健康发展
（1）健全大数据安全保障体系。
（2）强化安全支撑。
云计算
云计算概念
元计算（cloud Computing），是一种基于互联网的计算方式，
通过这种方式，在网络上配置为共享的软件资源、计算资源、存储资源和信息资源可以按需求提供给网上终端设备和终端用户。
所谓“云”是一种抽象的比喻，标识用网络包裹服务或者资源而隐蔽服务或资源共享的实现细节以及资源位置的一种状态。
云计算的主要特点：
一是宽带连接，用户需要通过宽带网络接入“云”中并获得有关的服务，“云”内节点之间也通过内部的告诉网络相连。
二是通过快速、按需、弹性的服务，用户可以按照实际需求迅速获取或释放资源，并可以根据需求对资源进行动态扩展。
云计算服务的类型
1.IaaS（基础设施即服务），向用户提供计算能力、存储空间等基础设施方面的服务。
这种服务模式需要较大的基础设施投入和长期运营管理经验，但IaaS服务单纯出租资源，盈利能力有限。
2.PaaS（平台即服务），向用户提供虚拟的操作系统、数据库管理系统、Web应用等平台化的服务。
PaaS服务的重点不在于直接的经济效益，而更注重构建和形成紧密的产业生态。
3.SaaS（软件即服务），向用户提供应用软件（如CRM、办公软件等）、组件、工作流等虚拟化软件的服务，
SaaS一般采用Web技术和SOA架构，通过Internet向用户提供多租户、可定制的应用能力，大大缩短了软件产业的渠道链条，减少了软件升级、定制和运行维护的复杂程度，并致使软件提供商从软件产品的生产者转变为应用服务的运营者。
云计算关键技术
云计算技术架构包括云计算基础设施和云计算操作系统。
云计算基础设施由数据中心基础设施和信息网络存储资源组成
云计算操作系统负责调度、管理和控制相关资源，支持对外提供IaaS、PaaS、SaaS等服务。
1）基础设施关键技术
云计算基础设施关键技术包括服务器、网络和数据中心相关技术。
为了实现云计算的成本目标，云计算系统中多采用X86系列刀片式服务器，通过虚拟化形成统一的服务器资源。
高速网络链接是确保成千上万服务器高效协调运行的关键
2）操作系统关键技术
云操作系统的主要关键技术包括资源池管理技术和向用户提供大规模存储、计算能力的分布式任务和数据管理技术。
热迁移
发展云计算的指导思想、基本原则和发展目标
1）指导思想
2）基本原则
（1）市场主导
（2）统筹协调
（3）创新驱动
（4）保障安全
3）发展目标
（1）服务能力大幅提升。形成若干具有较强创新能力的公共云计算骨干服务企业。
（2）创新能力明显增强。
（3）应用示范成效显著。
（4）基础设施不断优化。云计算数据中心区域布局初步优化，新建大型云计算数据中心能源利用效率（PUE）值优于1.5.
（5）安全保障基本健全
发展云计算的主要任务
1）增强云计算服务能力
2）提升云计算自主创新能力
3）探索电子政务云计算发展新模式
4）加强大数据开发与利用
5）统筹布局云计算基础设施
6）提升安全保障能力