ELK架构解读

一、ELK是什么鬼?

ELK实际上是三个工具的集合,Elasticsearch + Logstash + Kibana,这三个工具组合形成了一套实用、易用的监控架构,很多公司利用它来搭建可视化的海量日志分析平台。

1. ElasticSearch

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

2. Logstash

Logstash是一个用于管理日志和事件的工具,你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用,例如搜索、存储等。

3. Kibana

Kibana是一个优秀的前端日志展示框架,它可以非常详细的将日志转化为各种图表,为用户提供强大的数据可视化支持。

 二、架构图

三、架构解读

第一层:数据采集层

LOGS层:业务应用服务器集群,使用filebeat对应用服务器的日志进行采集。

第二层:数据缓冲层

zookeeper+kafka层:日志采集客户端采集来的数据,转存到kafka+zookeeper集群中,做一个消息队列,让数据有一定的缓冲

第三层:数据转发层

logstash层:这个单独的Logstash节点会实时去kafka broker集群拉数据,转发至ES DataNode。

第四层:数据持久化存储层

ES层:会把收到的数据,写磁盘,建索引库。

第五层:数据检索、展示层

Kibana层: 主要协调ES集群,处理数据检索请求,数据展示。

ELK部署:lilong00404的个人空间

发布了40 篇原创文章 · 获赞 59 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/weixin_44208042/article/details/90381310