elk日志分析简介及配置

第十二章 ELK日志分析系统
一、 ELK：开源的实时日志分析平台，由ElasticSearch、Logstash、Kiabana三个开源工具组成
ElasticSearch（简称ES）:分布式实时分析搜索引擎，具有分布式，零配置、自动发现、索引自动分片、索引副本机制、RESTful风格接口、多数据源、自动搜索负载等特点。
Logstash：用于日志收集，同时可以对数据处理并输出给ES
Kibana：提供图形化的日志分析界面，可以汇总、分析和搜索重要数据日志
二、 日志处理分析的步骤：
1、将日志进行集中化管理
2、将日志格式化（logstash）并输出到ES
3、对格式化后的数据进行索引和存储（ES）
4、前段数据的展示
三、 Elasticsearch的核心概念：
1、接近实时（NRT）：搜索到文档的延迟很小（1s）
2、群集（cluster）：一个或多个节点组成，在所有节点上存放用户数据，并一起提供索引和搜索功能，通过选举产生主节点。
3、节点（node）：每个节点多存放数据并参与群集的索引与搜索。
4、索引（index）：存储数据的地方（类似数据库），可以方便的进行全文索引。index包含存储数据的类型（type，类似表），type下包含文档（document，类似记录）
5、分片和副本：ES将索引分成若干个分片（默认为5片）。 副本是索引的备份，用于数据冗余和负载分担。
ES端口9200。可以安装Elasticsearch-head（访问端口9100）插件更方便的管理群集，群集状态为绿色（green）代表健康
四、 Logstash：实现数据传输、格式处理、格式化输出。使用管道方式进行日志的搜集处理和输出。需要java环境。logstash有三个阶段：输入（input）、处理（filter，非必需）、输出（output）。
五、 Kibana：针对ES的开源分析及可视化平台。主要设计用来和ES一起工作，可以搜索、查看存储在ES索引中的数据，并通过各种图表进行高级数据分析及展示。访问端口5601
Kinaba主要功能：
1、与ES无缝集成 2、整合数据 3、复合数据分析 4、让更多团队收益 5、接口灵活 6、配置简单 7、可视化多数据源 8、简单数据导出

---