Logstash6.1.1简介

一、概述:

       Logstash是一个具有实时流水线功能的开源数据收集引擎,可以收集来自不同数据源不同数据格式的数据,将数据过滤也就是标准化后存入es中,是为外界向es传输数据的通道。

      虽然Logstash最初推动了日志收集的创新,但其功能远远超出了该场景。任何类型的事件都可以通过广泛的输入,过滤和输出插件进行过滤和转换, logstash通过利用更大容量和更多数据来加速您的了解。

二、特点:

   1、水平可扩展的数据处理管道,具有强大的Elasticsearch和Kibana协同作用

   2、可以混合,匹配和编排不同的输入,过滤器和输出,在管道协调中发挥重要作用

   3、提供超过200个插件

 

三、 windows 安装

    【默认已经安装配置jdk1.8】:

     1、 下载安装包:https://download.csdn.net/download/lijiaheng525/10789382

     2 、解压配置: 

               (1) bin目录下配置自己的输入输出格式文件例如:

                             

     3 、启动:windows终端在logstash的bin目录下输入:

                              

或者跳过步骤2 直接:

四、使用

logstash 由三部分组成: 输入(input),输出(output) 、过滤(filter)  

1 input 常用的输入类型:file, syslog,redis,beats

2 filter 常用的过滤插件:grok , mutate,  drop , clone , geoip 

3 ouput 常用输出类型:elasticsearch ,  file, graphite, statsd

配置参考:

数据安全控制:https://www.elastic.co/guide/en/logstash/6.1/execution-model.html

  

     

发布了18 篇原创文章 · 获赞 6 · 访问量 9303

猜你喜欢

转载自blog.csdn.net/lijiaheng525/article/details/86510685