大数据计算技术的演变历程、大数据挖掘技术

计算技术演变历程:

1、离线计算Mapreduce:大数据兴趣初期,满足海量数据的离线批处理需求;

2、流式计算Storm:满足电子商务,新闻聚合等、实时监管等实时统计需求,以数据流的驱动来触发计算,时效性高,一般可以达到秒级

3、实时计算Spark:满足海量数据的深度挖掘中机器学习/模式识别的迭代型算法,每次计算结果分布式的放在内存中,下一轮直接从内存中读取上一轮的数据,节省大量的IO开销

4、图计算:基于数据之间的潜在关联性分析,更好的进行实时预测和推荐,图形通过顶点与边的连接方式,能够更加直接的查找和计算关联关系

 

大数据挖掘技术:

1、深度学习:通过层次化的方式和海量的训练数据,从而提升分类或预测的准确性

2、多维数据关联:满足用户从多角度多层次进行快速数据查询和分析的数据模型,面向分析决策,解决传统数据模型在数据维度高、条数多的情况下,无法有效表示数据结构和语义,以及无法有效支持OLAP的问题。主要分析方法:钻取、上卷、切块、旋转

3、知识图谱:基于图结构刻画实体之间的关系的技术。

4、数据可视化

猜你喜欢

转载自ynduanlian.iteye.com/blog/2364458