数据分析服务建设(未完待续)



 
数据中心要诀:全、稳、准、快
 为做到上面四方面,需要如下几方面的辅助工作:

(因时间关心,如下文字部分待续)

一、稳定性-数据监控

源监控

1.游戏内数据post可能丢数据(go开发syslog-ng嵌入程序,数据转发到Beanstalk。队列管理保证数据完整性)

2.Scribehdfs可能丢数据,和rsync对比

3.syslog-ng日志汇总可能丢。各机器各业务日志数量同比、环比。

4.日志内容监控:标准化接口

结果监控

计算结果同比、环比

依赖资源监控

mongoDBlevelDBHbase

二、可扩展性

1.业务扩展性

平台日志收集。Syslog-ng日志收集到中心机,匹配特定关键字

2.服务扩展性

游戏内数据收集,新游戏上线时的扩展性

三、可维护性

一堆crontab。。。

基于状态机的离线任务调度

猜你喜欢

转载自godlovesdog.iteye.com/blog/2102348