离线计算与实时计算

版权声明：原创作品转载必须标明出处，谢谢配合！ https://blog.csdn.net/qq_38704184/article/details/85054291

离线计算？

离线计算：批量（batch）获取数据、批量传输数据、周期性批量计算数据、数据展示

代表技术：sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、hive批量计算数据

1. hivesql
2. 调度平台
3. hadoop集群运维
4. 数据清洗（脚本语言）
5. 元数据管理
6. 数据稽查
7. 数据仓库模型架构

流式计算？

流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示

代表技术：Flume实时获取数据、

                  kafka/metaq实时数据存储、

                  storm/JStorm实时数据计算、

                  Redis实时结果缓存、

                  持久化存储（mysql）

离线计算与实时计算区别?

最大的区别：实时收集、实时计算、实时展示