离线计算

离线计算:批量获取数据、批量传输数据、周期性批量计算数据、数据展示

代表技术:sqoop批量导入数据,HDFS批量存储数据,MapReduce的批量计算数据,蜂巢批量计算数据,**任务调度。

1.hivesql

2.调度平台

3. Hadoop集群运维

4.数据清洗(脚本语言)

5.元数据管理

6.数据稽查

7.数据仓库模型架构

2.流式计算是什么?

流式计算:数据实时产生,数据实时传输,数据实时计算,实时展示

代表技术:水槽实时获取数据,卡夫卡/ metaq实时数据存储,风暴/ Jstorm实时数据计算,Redis的实时结果缓存,持久化存储(MySQL的)。

一句话总结:将源源不断产生的数据实时收集并实时计算,尽可能快的得到计算结果

3.离线计算与实时计算的区别

最大的区别:实时收集,实时计算,实时展示。

猜你喜欢

转载自blog.csdn.net/abcdefghwelcome/article/details/85054805
今日推荐