数据中心要诀:全、稳、准、快
为做到上面四方面,需要如下几方面的辅助工作:
(因时间关心,如下文字部分待续)
一、稳定性-数据监控
源监控
1.游戏内数据post可能丢数据(go开发syslog-ng嵌入程序,数据转发到Beanstalk。队列管理保证数据完整性)
2.Scribe到hdfs可能丢数据,和rsync对比
3.syslog-ng日志汇总可能丢。各机器各业务日志数量同比、环比。
4.日志内容监控:标准化接口
结果监控
计算结果同比、环比
依赖资源监控
mongoDB、levelDB、Hbase
二、可扩展性
1.业务扩展性
平台日志收集。Syslog-ng日志收集到中心机,匹配特定关键字
2.服务扩展性
游戏内数据收集,新游戏上线时的扩展性
三、可维护性
一堆crontab。。。
基于状态机的离线任务调度