数仓架构实践2:京东四层模型架构

京东数仓大致分四层架构


BDM:数据缓冲层,与源系统保持一致,相当于传统数仓的ODS。
FDM:基础数据层,按主题设计,数据融合,存放明细历史数据,相当于传统数仓的EDW。
GDM:通用汇总数据层,明细粒度,可以查询到具体字段信息;数据的预关联,预汇总和预加工;依赖对应用的共性提炼,而不是某个具体应用。
ADM:聚合数据层,应用层。面象应用按需定制。


1:数据缓冲层(BDM)
源业务系统数据的快照,保存细节数据,按天保存
2:基础数据层(FDM)
按业务概念组织细节数据,并进行名称、代码等标准化处理,同时对表进行标准化处理。
3:通用数据层(GDM)
根据京东核心业务价值链按照星型模型或雪花模型设计方式建设的最细业务粒度汇总层。在本层需要进行度量与维度的标准化,保证度量数据的唯一性。
4:聚合数据层(ADM)
根据不同的业务需求采用星型或雪花型模型设计方法构建的数据汇总层
5:维度层(DIM)
维度是对具体分析对象的分析角度,维度要具备丰富的属性,历史信息的可追溯性,对通用的维表要保持一致性。


另附,大数据平台架构:

发布了365 篇原创文章 · 获赞 705 · 访问量 43万+

京东数仓大致分四层架构

猜你喜欢

转载自blog.csdn.net/BeiisBei/article/details/105679196
今日推荐