LogStash日志收集系统调研(一)---初识LogStash

项目准备做日志统一收集分析系统,于是开始研究LogStash,坛子上已经有不少LogStash的文档了,我还是决定先把自己的东西简单总结下。

首先说下项目的背景:我们有1000多服务器,20多种日志,日志类型及格式也都各式各样。日志的统一管理是势在必行的。

LogStash一般都是搭配Redis(缓存)、ElasticSearch(存储、搜索)、Kibana(界面展示)。目前LogStash已经内置了ES和Kibana。

不过elasticSearch有性能压力,需要做集群部署,建议单独搭建。Kibana可以直接用LogStash内置的。

 

LogStash基本介绍就不再多说了,直接上架构图(图片是转过来的):

 

 

具体的效果图及配置详细说明等下篇再论,说下个人的用后感吧:

直观优点:    

      安装部署确实非常简单,功能上从统一收集来说比较有用。

 

问题:

      1. 日志展示界面看的不够清爽,而且Kibana定制困难(我对js不了解,目前logstash的论坛中也米有对界面定制的讨论)

      2. 搜索功能虽然比较强大,但是有时候就是搜不出来

      3. 汉化(我自己当然是不需要,主要是我对日志格式通过grok做了处理,加了很多字段,如果不汉化的话,别人很难理解字段含义)

      4. 问题分析(logstash有时候出现日志收集不了的情况,但是其本身的日志看不出任何问题,只能重启)

      5. 性能问题(还没开始测试,估计会有的,中文论坛上没人讨论性能问题)

 

目前LogStash貌似并不是很普及,很多论坛都是讲最基本的用法,如果有大神的话欢迎来讨论。

猜你喜欢

转载自xiajs.iteye.com/blog/2098567