文章目录
该系列博客是Logstash的学习应用，部分示例来自官方文档。
参考：
官方文档
一文快速上手Logstash
一. 简介
官方解释：
Logstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据标准化到您选择的目标位置。清除所有数据并使其民主化，以用于各种高级下游分析和可视化用例。
个人理解：
Logstash可以采集来自不同数据源的数据，并对数据进行处理后输出到多种输出源，是Elastic Stack 的重要组成部分，是ELK中的L。ELK就是指ElasticSearch、Logstash、Kibana这三个组件。它们往往配合使用，ES负责数据的存储和索引，Logstash负责集中、转换和存储数据，Kibana负责图形页面展示。
二. 架构原理
架构图
处理过程
Inputs输入源
它支持多种将输入源，像常用的beat，kafka，tcp，redis，等等。
更多支持请参看https://www.elastic.co/guide/en/logstash/current/input-plugins.html
过滤器Filters
处理数据如格式转换，数据过滤等，常见的插件如grok, mutate, drop, geoip等
更多支持请参看https://www.elastic.co/guide/en/logstash/5.6/filter-plugins.html
输出Outputs
数据输出地，常见的插件如elastcisearch，file, 等
更多支持请参看https://www.elastic.co/guide/en/logstash/5.6/output-plugins.html
编码Codecs
Codes不是一个单独的流程，而是在输入和输出等插件中用于数据转换的模块，用于对数据进行编码处理，常见的插件如json，multiline等
更多支持请参看https://www.elastic.co/guide/en/logstash/5.6/codec-plugins.html
三. Hello World
1.下载安装
下载地址：传送门
解压即可（需要先安装JDK8）
2.使用启动
cd到Logstash的根目录，执行启动命令，此处使用标准输入和标准输出作为input和output
(windows用cmd终端进入)
cd logstash-6.0.0
bin/logstash -e 'input { stdin { } } output { stdout {} }'
- -e 表示在启动时直接指定pipeline配置
- -f 表示使用配置文件启动
- –config.test_and_exit 选项解析配置文件并报告任何错误
- –config.reload.automatic 选项允许自动重新加载配置，这样您就不必每次修改配置文件时都要停止并重新启动Logstash
3.测试
启动成功显示如下：
输入123，显示123
4.使用配置文件启动
首先在任意目录下conf文件，我是在logstash/bin目录下创建的
std_std.conf
input {
stdin {}
}
output {
stdout {}
}
之后启动命令
cd logstash-6.0.0
bin/logstash -f sts_std.conf
源码地址
IT-CLOUD-LOGSTASH :LOGSTASH教程源码。博文在本CSDN logstash系列中。
项目推荐
IT-CLOUD :IT服务管理平台，集成基础服务，中间件服务，监控告警服务等。
IT-CLOUD-ACTIVITI6 :Activiti教程源码。博文在本CSDN Activiti系列中。
IT-CLOUD-ELASTICSEARCH :elasticsearch教程源码。博文在本CSDN elasticsearch系列中。
IT-CLOUD-KAFKA :spring整合kafka教程源码。博文在本CSDN kafka系列中。
IT-CLOUD-KAFKA-CLIENT :kafka client教程源码。博文在本CSDN kafka系列中。开源项目，持续更新中，喜欢请 Star~
