Pandora数据工厂之数据开发

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zxh19800626/article/details/84670216

数据开发Leopard概述

数据开发Leopard根据用户业务需求,对数据进行加工处理、分析与挖掘分析与挖掘(数据分析、数据挖掘)等提供数据离线计算分析功能。把用户设计的数据计算流程转化为多个相互依赖的任务,供调度系统自动调度执行。

一、数据计算任务流程

在这里插入图片描述

二、任务类型
  • 数据同步

  • HiveSQL

  • SparkSQL

  • Shell

  • Spark Scala脚本

我们对底层任务调度giantpanda封装成数据集成和数据计算任务,具体参阅 2 任务调度

三、功能架构

在这里插入图片描述


原创诗词一首

游康定
铁桥纵横几千秋,云雾高锁水难流。
贡嘎山上飘银带,新都湖水荡轻舟。
远至江北三千里,近接蜀南十四州。
日暮驱车何处去,夜长难眠使人愁

猜你喜欢

转载自blog.csdn.net/zxh19800626/article/details/84670216