数据仓库解决什么问题
- 1、将各种数据源整合到一起统一数据中心，解决数据壁垒。 <仓库的集成性特点>
- 2、脏数据清洗，简化业务复杂结构数据。
- 3、规范表、字段名称，统一字段数据格式，完善注释内容。
- 4、保留历史变更数据，提供对细节变化分析支持。
- 5、生产适合OLAP的大宽表，方便用户多维度快速分析。 <仓库的主题性特点>
- 6、数据质量的保证和指标口径的一致性
分层设计的优势
一般来说数据仓库有如下几层：
- ODS 操作数据层
- DWD 明细数据层
- DWS 汇总数据层
- APP 应用数据层
中间层带来的优势：
- 1、避免烟囱式开发：重复建设、消耗集群储存空间、增大集群计算压力
- 2、保证数据的质量、统一指标口径
- 3、OLAP效率高（使用大宽表，避免关联计算）
- 4、底层业务数据结构变动 和 上层数据需求改动 可以减少对模型的冲击
为什么要对数据仓库分层：
1用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；
2如果不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大
3通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理逻辑都相对简单和容易理解，这样我们比较容易保证每一个步骤的正确性，当数据发生错误的时候，往往我们只需要局部调整某个步骤即可。
4.数据血缘跟踪，最终开发是业务表，当业务表出现问题时，它可能来自多个业务源表，方便问题定位