前言
分布式日志采集在比较大型的项目中经常用到,用来采集分析用户/系统产生的海量日志
但是在微服务架构下每个提供者(provider)都要收集其日志,需要安装采集组件,无疑是对系统部署以及正常运行压力带来不小的挑战,那什么场景下选用该组件比较合适呢?
其实ELK架构设计可应用于该日志采集场景的技术栈选型,个人觉得首先要从业务场景考虑,要有助于推动产品的发展
近期项目发展需要主要基于以下两点,觉得有必要引入该技术栈
1.数据治理:确定了数据治理阶段性目标后,分布式日志采集为数据联通中一重要组成部分,也基于大数据组有相关技术优势,同时为大数据组提供数据分析基础(海量有价值日志)
2.技术组件服务化:网关路由组件服务化,在不断升级优化各系统技术组件,将共有部分、核心部分服务化,在原有网关产品(智能封装)的基础之上,引入分布式日志组件(ELK)对产品起到了一定的功能补充,网关抽象为产品层的大数据实时监控分析系统
一、架构设计速览
如下图所示,快速过下采用的设计方案
解析:ELK方案设计,在原有ELK(Elasticsearch、Logstash、Kibana)技术组件下,结合业务以及团队成员技术栈情况做了细微调整,业务流程对应 Waht(输出)
业务流向:
扫描二维码关注公众号,回复:
11126796 查看本文章