数仓 分层架构

ods层:
数据来源及建模方式:各业务系统的源数据,物理模型与业务模型一致;
服务领域: 为其它逻辑层提供数据;
数据ETL过程描述:把业务数据抽取落地成文本文件,再装载到数据仓库ods层,不做清洗转化。

dwd层:
数据来源及建模方式:数据来自于ods层,是DW明细事实层,数据模型与ods层一致;
服务领域:为edw提供各主题业务明细数据;
数据ETL过程描述:根据ods增量数据进行merge生成全量数据,不做清洗转化,保留原始全量数据。

dw层:
数据来源及建模方式:数据来自dwd层,是DW事实层,采用维度建模,星型架构,这一层可细分为dwb与dws;
服务领域:为EDS提供各主题业务明细;
数据ETL过程描述:从dwd层进行轻度清洗,转化,汇总生成dw层数据,如字符合并,email,证件号,日期,手机号转换合并;按各个维度进行聚合汇总。

dm层
数据来源及建模方式:数据来自dw层,采用维度建模,星型架构;
服务领域:数据挖掘,自定义查询,应用集市;
数据ETL过程描述:从dw层进行粗粒度聚合汇总,按业务需求对事实进行拉宽形成宽表。

st层:
数据来源及建模方式:数据来自dw层,采用维度建模,星型架构;
服务领域:前端报表展示,主题分析,kpi报表;
数据ETL过程描述:从dw层进行粗粒度聚合汇总,如按年、月、季、天对一些维度进行聚合生成业务需求的事实数据。

猜你喜欢

转载自www.cnblogs.com/linkmust/p/11654488.html