Flink电商实时数仓项目04-DWS层

1 DWS层和DWM层的设计

1.1 DWS层 前面的总结

DWS层的定位是什么呢?

  • 轻度聚合,因为DWS层要应对很多实时查询,如果是完全的明细那么查询的压力非常大。
  • 将更多的实时数据以主题的形式组合起来便于管理,同时也能减少维度查询的次数。
ODS层: 
	-- 日志数据:
        nginx+日志采集服务器(3) 将数据采集到Kafka(ods_base_log)
    -- 业务数据:
        Maxwell监控MySQL(binlog) 将数据采集到Kafka

猜你喜欢

转载自blog.csdn.net/qq_43523503/article/details/114424823