大数据概述概念总结
其他
2020-04-03 08:46:58
阅读次数: 0
- 第三次信息化浪潮的标志：云计算、大数据、物联网技术的普及
- 大数据时代新兴的技术：Spark、Hadoop、HBase
- 大数据发展的三个阶段：
- 萌芽期（上世纪90年代至本世纪初）
- 成熟期（本实际前十年）
- 大规模应用期（2010年前后）
- 数据产生方式大致经历了三个阶段：
- 大数据带来思维方式的三个转变是：
- 大数据的4V特性：数据量大、数据类型繁多、处理速度快、价值密度低
- Jim Gray博士认为，人类在科学研究上先后经历了四种范式：实验科学、理论科学、计算科学和数据密集型科学
- 大数据计算模式：
- 批处理计算：针对大规模数据的批量处理。MapReduce、Spark等
- 流计算：针对流数据的实时计算。Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等
- 图计算：针对大规模图结构数据的处理。Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等
- 查询分析计算：大规模数据的存储管理和查询分析。Dremel、Hive、Cassandra、Impala
- 云计算的典型服务模式：SaaS、IaaS、PaaS
- 云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等
- 物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与
通信技术、数据挖掘与融合技术等
- 云计算、大数据和物联网三者紧密相关，相辅相成
- 物联网可以借助于大数据实现海量数据的分析
- 物联网可以借助于云计算实现海量数据的存储
发布了208 篇原创文章 ·
获赞 80 ·
访问量 3万+
转载自blog.csdn.net/DanBo_C/article/details/104832920
