日志采集常见组件优劣势

flume

优势: 单source可支持多sink输出,能输出hdfs或者访问http接口,插件可扩展性较高(比如读个redis什么的)。失败策略保证消息的无丢失发送

劣势:不稳定,内存占用较大,长时间使用产生较多内存碎片。应用场景大多于离线文件搬运,偏大数据生态。

  

fluent-bit

优势:k8s生态组件,可自恢复,内存占用极少。守护进程,业务无侵入。 母组件fluentd可以做日志代理中心。

劣势:默认配置优化?读取端是单线程(所以cpu占用较高?)。插件只支持C、go语言,有专门的kafka插件,维护难度较高。

  

filebeat

elastic生态组件,golang组件, 为解决 Logstash "太重" 的问题

优势:资源占用极少,性能非常强。对文件控制很灵活,保证不重复读取。内置多种结构化方案(如json),output支持大部分主流组件(支持redis)。支持容器化。

劣势:默认配置需要优化(常见问题:注册表会很大)close_inactivescan_frequency两个参数很重要。无法保证不重复发送。

logagent:

优势:使用简单。deamon进程。对外提供http拉取服务。记录文件消费位置。接入es很方便。

劣势:不支持大内容(20M)的返回。java编写的agent,gc会对宿主机有卡顿表现。

matomo:

优势:简单搜索和可视化集一身,

劣势:业务侵入,需要埋点。收集能力有局限性。

Logstash: 重,慢。

Logan:

美团开源移动端日志收集组件

资料:https://github.com/Meituan-Dianping/Logan

相关资料:

filebeat: https://blog.csdn.net/qq_30868737/article/details/103389574

fluent-bit: https://blog.csdn.net/luanpeng825485697/article/details/83312662

filebeat:  https://www.jianshu.com/p/7c5b1b409e8c

各个对比: https://www.iteye.com/blog/luoshi0801-2252452

猜你喜欢

转载自www.cnblogs.com/but999/p/12555805.html
今日推荐