Logstash数据处理服务的过滤插件Grok正则匹配概念以及正则语法

Logstash数据处理服务的过滤插件Grok正则匹配概念以及正则语法

1.Grok正则介绍

收集来的日志往往都是非结构的日志,当然也可以通过配置将日志输出成结构化日志,Nginx就支持将日志输出成结构化的功能,但是很多一些开源软件是不支持将日志结构化的,针对这种需求,我们就可以使用正则将日志数据输出成功格式化数据。

Grok正则插件是作用通过正则表达式将非结构的日志输出成结构化的日志,便于我们在kibana上对日志数据进行筛选。

使用Grok正则匹配配置之前,需要对正则表达式有一定的基础。

Grok插件自带了一些内置的正则匹配模式,将常用的一些匹配表达式(获取IP、文本字符串、请求URL、数字)写入到了一个文件中,并且对这些表达式声明了一个模式名称,我们可以直接引用这些表达式的名称,对日志数据进行过滤匹配。

Grok自带的正则表达式文件在vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/grok-patterns这个路径中,官方配置好的正则表达式比较复杂,但是很精确,当然你也可以自己去定义正则表达式。

Grok常用配置字段&#

猜你喜欢

转载自blog.csdn.net/weixin_44953658/article/details/125758390