Real-time data warehouse: project learning

1. Technical Selection

*** 当下flink流行度又高、又稳定。成为当下实时计算最优选择

2. Project Analysis

2.1 业务数据：一般存储在mysql（需要canal做实时采集）
2.2 日志数据：一般以log文件形式存在，采用日志采集框架flume做实时采集

3. Implementation plan

3.1 数据少于20万，可直接通过实时查询mysql，适当对关联字段做索引即可
3.2 数据量比较大，mysql查询时间无法达到查询效果或者实时性太差

4. Real-time data warehouse architecture