大数据技术架构

一大数据技术框架

数据变现的过程(把数据转化成价值之后提供给用户)

自底向上: 数据源(互联网,物联网,企业数据)----->用户

大数据技术框架: 1-4 通用架构  5-6专业业务(金融 保险 教育 政府机构)

  1数据收集(EL,提取,转换,加载) 数据收集准备

  2数据存储(SQL, NOSQL)数据存储

  3资源管理 管理cpu 内存

  4批处理(讲究高吞吐率,对时间要求不是很严格) 交互式分析(支持SQL,时间要求严格) 流处理(时间处理要求苛刻)  这些是 计算框架

  5数据分析 面向具体业务应用的 数据挖掘 OLAP 商务智能BI 

  6数据展示 数据可视化

  spark只是一个分布式计算引擎。

猜你喜欢

转载自www.cnblogs.com/gaofeifei1-study/p/10475550.html