第一阶段
了解整个项目相关细信息。
项目背景介绍、项目概述、逻辑架构介绍、功能需求介绍、数据结构介绍、总体架构介绍。
第二阶段
离线业务数据上传,根据架构,对离线数据进行整理、创建数据库表、数据加载。
第三阶段
离线业务SQL语句整理、整理SQL语句生成结果表的结构及字段,根据结果表所需的字段,在原始表中抽取该字段
数据加工、补充及入库、创建索引
第四阶段
实时业务需求实现,实时采集mysql中变化的数据,将数据同步至大数据平台,进行实时业务计算与离线分析。