数据采集 | 分布式日志采集-ELK方案设计

前言

分布式日志采集在比较大型的项目中经常用到,用来采集分析用户/系统产生的海量日志

但是在微服务架构下每个提供者(provider)都要收集其日志,需要安装采集组件,无疑是对系统部署以及正常运行压力带来不小的挑战,那什么场景下选用该组件比较合适呢?

其实ELK架构设计可应用于该日志采集场景的技术栈选型,个人觉得首先要从业务场景考虑,要有助于推动产品的发展

近期项目发展需要主要基于以下两点,觉得有必要引入该技术栈

1.数据治理:确定了数据治理阶段性目标后,分布式日志采集为数据联通中一重要组成部分,也基于大数据组有相关技术优势,同时为大数据组提供数据分析基础(海量有价值日志)

2.技术组件服务化:网关路由组件服务化,在不断升级优化各系统技术组件,将共有部分、核心部分服务化,在原有网关产品(智能封装)的基础之上,引入分布式日志组件(ELK)对产品起到了一定的功能补充,网关抽象为产品层的大数据实时监控分析系统

一、架构设计速览

如下图所示,快速过下采用的设计方案

解析:ELK方案设计,在原有ELK(Elasticsearch、Logstash、Kibana)技术组件下,结合业务以及团队成员技术栈情况做了细微调整,业务流程对应 Waht(输出)

 业务流向:

扫描二维码关注公众号,回复: 11126796 查看本文章

猜你喜欢

转载自blog.csdn.net/zzhuan_1/article/details/105307610