实时大数据处理的Lambda架构

问题:
Batch View和Realtime View两个结果合并后才是真正的result
在batch 重新计算开始后这个时间点就应该将它 对应的任务的所有的realtime和batch view的结果合并并将realtime view的结果清0(加锁,这个时候的新数据不能开始计算防止有脏数据结果),然后解锁开始批计算,realtime view也开始计算。

思考: 是不是可以用一个结果呢? realtime直接更新batch的结果(用zookeeper来做全局锁,两边更新时都要获得锁再更新)
http://www.2cto.com/kf/201505/402080.html
http://m.blog.csdn.net/blog/GreatElite/25502203

猜你喜欢

转载自coolsunchen.iteye.com/blog/2254940