一 什么是ELK
ELK是三个[开源软件]的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件，新增了一个Beats。
-
Elasticsearch :是分布式搜索引擎,提供搜集、分析、存储数据三大功能
- 主要特点 实时分析 分布式实时文件存储，并将每一个字段都编入索引 文档导向，所有的对象全部是文档 高可用性，易扩展，支持集群（Cluster）、分片和复制（Shards 和 Replicas）。
-
Logstash :主要是用来日志的搜集、分析、过滤日志的工具
- 几乎可以访问任何数据
- 可以和多种外部应用结合
- 支持弹性扩展
-
Kibana :提供友好的Web界面,可以帮助汇总分析和搜索数据
Kibana是一款基于Apache开源协议，使用JavaScript语言编写，为Elasticsearch提供分析和可视化的 Web 平台。它可以在Elasticsearch的索引中查找，交互数据，并生成各种维度的表图.
-
Beats :是一-个轻量级的日志收集处理工具(Agent)
ELK协议栈的新成员，一个轻量级开源日志文件数据搜集器。在需要采集日志数据的server上安装Filebeat，并指定日志目录或日志文件后，Filebeat就能读取数据，发送到Logstash进行解析，或直接发送到Elasticsearch进行集中式存储和分析。
二 Beats的六种工具
-
Packetbeat :网络数据(收集网络流量数据)
-
Metricbeat :指标( 收集系统、进程和文件系统级别数据)
-
Filebeat: 日志文件(收集文件数据)
-
Winlogbeat : windows事件日志(收集Windows事件日志数据)
-
Auditbeat :审计数据(收集审计日志)
-
Heartbeat :运行时间监控(收集系统运行时的数据)
三 ELK系统的特点
-
强大的收集能力:能够采集多种来源的日志数据
-
稳定的传输能力 :能够把日志数据传输到中央系统
-
分布式存储:可根据业务需求存储日志数据,可动态扩容
-
分析&展示&提醒:具备数据分析能力,数据展示能力和告警能力
四 ELK+beats系统架构
Logstash 通过Filebeat从多种数据源（比如日志文件、标准输入 Stdin 等）获取数据，再经过滤插件加工数据，然后经 Elasticsearch 输出插件输出到 Elasticsearch，通过 Kibana 展示。
五 ELK优点
-
处理方式灵活： elasticsearch是实时全文索引，具有强大的搜索功能
-
配置相对简单：elasticsearch全部使用JSON 接口，logstash使用模块配置，kibana的配置文件部分更简单。
-
检索性能高效：基于优秀的设计，虽然每次查询都是实时，但是也可以达到百亿级数据的查询秒级响应。
-
集群线性扩展：elasticsearch和logstash都可以灵活线性扩展
-
前端操作良好：kibana的前端设计比较绚丽，而且操作简单。Kibana 界面上，只需要点击鼠标，就可以完成搜索、聚合功能，生成炫丽的仪表板。
六 最后
-
至此，go-micro微服务ELK介绍工作就正式完成。
-
接下来就开始filebeat收集日志的代码编写了，希望大家关注博主和关注专栏，第一时间获取最新内容，每篇博客都干货满满。