1 需求分析
1.1 业务需求
1.2 用户需求
1.2.1 使用数据平台的用户的需求
1.2.2 需要的数据
1.2.3 分析的内容
1.3 功能需求
1.4 数据需求
1.4.1 要接入哪些数据
1.4.2 指标体系是怎样
1.4.2.1 性能要求
1.4.2.2 查询方式
1.4.3 数据来源于内外部的哪些系统
1.4.4 数据量级估算
1.4.5 数据接口
2 系统设计
2.1 技术选型
2.2 技术架构设计
2.2.1 数据采集
2.2.1.1 采集工具
2.2.1.2 消息系统
2.2.1.3 数据采集方案
2.2.1.4 数据采集架构
2.2.2 ETL
2.2.2.1 ETL方案
2.2.2.2 ETL架构
2.2.3 存储
2.2.3.1 存储方案
2.2.3.2 存储引擎调研
2.2.3.3 存储架构
2.2.3.4 数据归档
2.2.4 计算分析
2.2.4.1 计算方案设计
2.2.4.2 计算引擎调研
2.2.4.3 计算分析架构
2.2.5 缓存
2.2.6 交互式查询
2.2.6.1 查询方案设计
2.2.6.2 查询引擎调研
2.3 数据架构设计
2.3.1 数据主题
2.3.2 数据分层
2.3.4 数据流
2.3.5 数据交换方式
2.4 数据应用设计
3 系统开发
3.1 平台部署
3.2 数据集成及处理开发
3.3 数据服务开发
3.4 数据应用开发
4 系统测试
4.1 单元测试
4.2 综合测试
5 系统运维
5.1 系统监控
5.2 系统维护
5.2.1 改正性维护
5.2.2 适应性维护
5.2.3 完善性维护
5.2.4 预防性维护
6 FAQ
6.1 解决mysql 长事务数据延迟
6.2 拉链取数据
6.3 解决小文件问题
