大数据基础001——大数据概述
一. 大数据关键技术
- 分布式存储、分布式处理是大数据技术的两大核心。
- 分布式存储：包括分布式数据库（如BigTable）、分布式文件系统（如GFS）。
- 分布式处理：分布式并行处理技术（如MapReduce、Spark）。
二. 常见的数据处理方式
- 批处理计算： 大规模数据批量处理。
- 流计算： 流数据的实时计算。
- 图计算： 大规模图结构数据的处理。
- 查询分析计算：大规模数据的存储管理与查询分析。
三. 云计算
- 什么是云计算？
- 解决海量数据的分布式存储、分布式处理。
- 特点： 虚拟化、多租户。
- 定义： 通过网络以服务的方式为用户提供廉价的IT资源。
- 三种云服务：
- IaaS：面向网络架构师，基础设施即服务。
- PaaS：面向应用开发者，平台即服务。
- SaaS：面向用户，软件即服务。
四. 物联网
- 即物物相连的互联网。
- 感知层、网络层、处理层、应用层。
- 识别与感知是两个大关键技术。