ELK stack:elasticsearch logstash kibana
logstash 需要安装java
yum安装
image.png
命令行方式：logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'
配置文件：logstash.conf
input{
stdin{}
}
output{
stdout{
codec=>rubydebug{}
}
elasticsearch{
embedded=>true
}
}
//logstash -f logstash.conf
-t 解析语法
-l 记录到日志
-w 5 用5个线程运行
-v 输出调试日志
插件安装：
p'lugin install xx
plugin update xx
/dev/null 2>&1
file(FileWatch) 插件的配置：
path 路径
discover_interval 几秒检查，默认15秒
exclude
start_position begining ：默认是tail -F,需要设置成begining
*表示递归所有子目录== //
tcp/udp插件
syslog插件：
syslog{
port => '514'
}
TCP插件和filter插件实现syslog效果
image.png
collected插件
--
logstash数据流方向：input|decode|filter|encode|output
nginx作为logstash输入流
image.png
multiline插件
image.png
logstash-filter-date插件
image.png
joda时间格式
image.png
时间转换
image.png
grok正则插件
image.png
geoip插件:IP归属地查询
image.png
image.png
logstash-filter-kv 插件，处理key-value日志
logstash-filter-metrics 插件;
image.png
logstash-filter-mutate:类型转换、字符串处理、字段处理
image.png
image.png
image.png
image.png
split 插件
image.png
输出插件：elasticsearch
image.png
输出插件：发送email
image.png
调用系统命令
image.png
输出，保存到文件
image.png
发送告警到nagios里
image.png
标准输出
image.png
image.png
HDFS
image.png
image.png