版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lihaogn/article/details/81945090
1 概念
1）何为大数据？
百度释义：大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2）背景
无处不在的数据：
- 科学数据
- 金融数据
- 物联网数据
- 交通数据
- 社交网络数据
- 零售数据
3）特征
- volume -> 数据量大
- variety -> 数据类型，数据源多样
- velocity -> 数据产生、处理、存储速度快（快速的数据流转）
- value -> 数据的价值大
- veracity -> 数据的质量、准确度
4）涉及的技术
- 数据采集
- 数据存储
- 数据处理、分析、挖掘
- 数据可视化
5）面对的挑战
- 对现有数据库的挑战
- 对实时性技术的挑战
- 对网络、数据中心、运维的挑战
- 对数据安全、隐私的挑战
- 对兼容复杂多样的数据类型的挑战
6）应对挑战
- 存储 -> GFS -> HDFS
- 读写速度 -> BigTable -> HBase
- 计算效率 -> MapReduce
7）应用案例
- 电商 -> 推荐系统