监控系统的设计

开发一个日志监控系统,需要综合考虑实时性,性能,稳定性

为了能应对我们的量和满足实时性,各种开源技术的可以被借鉴到监控系统的设计和开发中,flume,kafka,dubbo-esb(调用链识别),大数据处理(spark,Hadoop)

业务日志也需要被监控,需要制定规范 

基于FlumeKafkaSpark的分布式日志流处理系统的设计与实现

http://www.doc88.com/p-9955247066607.html  

Kafka实战-Flume到Kafka

http://www.cnblogs.com/smartloli/p/4615908.html

基于Hadoop的日志统计分析系统的设计与实现

http://www.docin.com/p-818403125.html

Flume-ng+Kafka+storm的学习笔记

http://blog.csdn.net/zxcvg/article/details/18600335/

基于Flume的美团日志收集系统(一)架构和设计

http://www.aboutyun.com/thread-8317-1-1.html

被招聘的人最好:

1 对于监控有着深刻的认识,深度参与过大型监控系统的开发设计实施,是核心的开发或者架构师

2 熟悉各种监控系统,知道各自的优缺和不足,有整合这些系统的思路

对QB来说:监控系统不断演变迭代以满足需求,最好一开始的时候要把底子打好,能拿来一套现成的东西为上

猜你喜欢

转载自curious.iteye.com/blog/2290668