Flink实时数仓_DWS层业务实现

设计思路

        我们在之前通过分流等手段,把数据分拆成了独立的 kafka topic。那么接下来如何处理数据,就要思考一下我们到底要通过实时计算出哪些指标项。
因为实时计算与离线不同,实时计算的开发和运维成本都是非常高的,要结合实际情况考虑是否有必要象离线数仓一样,建一个大而全的中间层。
如果没有必要大而全,这时候就需要大体规划一下要实时计算出的指标需求了。把这些指标以主题宽表的形式输出就是我们的 DWS 层.。

1.3 DWS 层的定位是什么

➢  轻度聚合,因为 DWS 层要应对很多实时查询,如果是完全的明细那么查询的压力是非常大的。
➢  将更多的实时数据以主题的方式组合起来便于管理,同时也能减少维度查询的次数。

Guess you like

Origin blog.csdn.net/qq_22473611/article/details/119575041