大数据-数仓分层之ODS

ODS层描述

ods层的作用

ods层为了将原始的业务数据、用户行为数据全部从hdfs中读取出来放入hive中进行分析(实质上也是放在hdfs上,相当于对原始数据进行了备份)

在这里插入图片描述
这里面有所有脚本:都是一些数据装载的脚本,就不多描述

表的同步策略

用户行为日志表(ods_log),按天全部同步

1. 订单表(增量及更新)( ods_order_info)

2 订单详情表(增量)( ods_order_detail)

3 SKU 商品表(全量)(ods_sku_info)

4 用户表(增量及更新)(ods_user_info)

5 商品一级分类表(全量)(ods_base_category1)

6 商品二级分类表(全量)(ods_base_category2)

7 商品三级分类表(全量)(ods_base_category3)

8 支付流水表(增量)(ods_payment_info)

9 省份表(特殊)(ods_base_province)

10 地区表(特殊)(ods_base_region)

11 品牌表(全量)(ods_base_trademark)

12 订单状态表(增量)(ods_order_status_log)

13 SPU 商品表(全量)(ods_spu_info)

14 商品评论表(增量)(ods_comment_info)

15 退单表(增量)(ods_order_refund_info)

16 加购表(全量)(ods_cart_info)

17 商品收藏表(全量)(ods_favor_info)

18 优惠券领用表(新增及变化)(ods_coupon_use)

19 优惠券表(全量)(ods_coupon_info)

20 活动表(全量)(ods_activity_info)

21 活动订单关联表(增量)(ods_activity_order)

22 优惠规则表(全量)(ods_activity_rule)

23 编码字典表(全量)(ods_base_dic)

脚本使用

如果是第一次导入:

[root@hadoop102 bin]$ hdfs_to_ods_db.sh first 2020-06-18

之后导入:

[root@hadoop102 bin]$ hdfs_to_ods_db.sh all 2020-06-18

总结


感谢大家阅、互相学习;
感谢尚硅谷提供的学习资料;
有问题评论或者发邮箱;
gitee:很多代码仓库;
[email protected]

猜你喜欢

转载自blog.csdn.net/weixin_44704261/article/details/111939770