4.Logstash 入门教程-数据处理流程

4.Logstash 入门教程-数据处理流程

LS的处理流程分三个阶段:inputs->Filters-> Outputs.

input:产生事件,filter:修改事件,output:输出事件。

在Input,Output阶段支持codecs解编码器,这样就不用在数据输入和输出的位置配置独立的Filter了。

Input输入配置:

常用的有

File

syslog

redis

lumberjack

当然还有很多其他的啦,如ActiveMQ Kafak hdfs等....

Filters过滤配置:

在LS中属于独立的处理流程。可以通过条件拼接过个Filter。

一些非常有用的Filter:

grok:

mutate:

drop:

clone:

geoip:

Outputs输出配置:

处理流程的最后一部分,一个事件可以经过多个Filter,Output完成后,事件生命周期结束。

常用的有:

elasticsearch

file

graphite

statsd

Codecs解编码:

常用的包含:

JSON

msgpack

plain

Multiline

猜你喜欢

转载自corejava2008.iteye.com/blog/2216799