数据仓库模型ETL架构(DWI/DWR/DM)

1.DWI

DWI:数据湖、数据砥柱,一般存放在HDFS

数据仓库的基础数据来源,各种杂七杂八的数据

关键点:数据清洗、数据整合、异常处理、增量获取

ETL:E-数据抽取、数据清洁、格式转换,T-生成代理键ID、遵循三范式,L-数据加载

2.DWR

DWR:数据仓库的中间层,星型结构

根据业务划分:维度数据(区域、项目、工厂等)、交易数据(存量、发货、订单等)

3.DM

DM:数据市场

按照业务组划分为9大责任中心(区域、系统部、集团、运营商、企业网、消费者、费用中心、DM Base、DM Sum、DM high level fact)

 

业务中正真值钱的数据应该是DM,数据分析预警等系统一般就是根据DM数据为基础做定制化分析

猜你喜欢

转载自www.cnblogs.com/muphy/p/11123865.html