ELK生态系统——简介

1、系统成员:

ELK生态系统包含:elasticsearch、logstash、kibana以及beats软件。


2、主要功能:

ELK主要是一个海量可视化日志分析系统,由于elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能,我们还可以将大量数据存储到elasticsearch中,然后通过java API在项目中集成elasticsearch完成对大量数据的实时分析、查询功能。


3、elasticsearch简介:

elasticsearch是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎。它可以帮助你用前所未有的速度去处理大规模数据。

elasticsearch主要可以进行的工作包括:分布式实时文件存储、实时分析的分布式搜索引擎、可扩展上百台服务器处理PB级别结构化或非结构化数据。


4、logstash简介:

logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的 “存储库” 中。(我们的存储库当然是 elasticsearch)


5、kibana简介:

kibana是一个开源的分析和可视化平台,设计用于和elasticsearch一起工作。可以用kibana来搜索,查看,并和存储在elasticsearch索引中的数据进行交互。并且可以轻松地执行高级数据分析,并且以各种图标、表格和地图的形式可视化数据。


6、beats简介:

beats是一个轻量型数据采集器,集合了多种单一用途数据采集器。它们可以从成百上千或成千上万台机器和系统中向logstash或elasticsearch发送数据。beats包括:日志文件采集器(Filebeat)、指标采集器(Metricbeat)、网络数据采集器(Packetbeat)、Windows事件日志采集器(winlogbeat)、审计数据采集器(Auditbeat)、运行时间监控采集器(Heartbeat)、无需服务器的采集器(Functionbeat)。


7、ELK版本选择建议:

选择elasticsearch版本时候,强烈建议elasticsearch使用6.0以上的高版本,因为高版本的elasticsearch支持通过Java High Level REST Client来创建客户端,操作elasticsearch数据非常方便,也是未来发展的主流趋势。另外,建议使用XContentBuilder来构建文档,在文档中添加数据。

注意:elasticsearch的6.6.0版本以后增加了index lifecycle management(索引声明周期)管理、elasticsearch的7.1.0以后xpack的基础安全方面实现了免费使用。因此可以根据自己需求,选择不同的高版本的elasticsearch,ELK中其它组件相对应的跟随elasticsearch的版本进行安装。

猜你喜欢

转载自blog.csdn.net/LSY_CSDN_/article/details/91394114
今日推荐