微服务框架（十三）Spring Boot Logstash日志采集

版权声明：本文为博主原创文章，若要转载请注明文章出处：http://blog.csdn.net/why_still_confused https://blog.csdn.net/why_still_confused/article/details/84346951

　　此系列文章将会描述Java框架Spring Boot、服务治理框架Dubbo、应用容器引擎Docker，及使用Spring Boot集成Dubbo、Mybatis等开源框架，其中穿插着Spring Boot中日志切面等技术的实现，然后通过gitlab-CI以持续集成为Docker镜像。
　　本文为Spring Boot中Log4j2对接Logstash，进行日志采集

本系列文章中所使用的框架版本为Spring Boot 2.0.3-RELEASE，Spring 5.0.7-RELEASE，Dubbo 2.6.2。

Logstash

Logstah只支持log4j，使用log4j2时需要通过TCP插件调用

Log4j2配置

Log4j2.xml：（Logstash作为Appender）

<!-- Socket Apppender配置，通过TCP协议连接Logstash -->
<Socket name="LOGSTASH" host="${logstashHost}" port="${logstashPort}"
    protocol="TCP">
    <PatternLayout charset="UTF-8" pattern="${PATTERN}" />
</Socket>

Logstash input

为了接受到上述日志信息，需要配置input插件

若日志信息为json格式，则codec为json，文本为plain

input {
  tcp {
    host => "ip"
    port => "port"
    codec => "plain"
  }
}

Logstash filter

Logstash filter插件在事件执行的中间过程进行相关的数据处理，通常根据事件的特征选择性地使用相应的过滤器。

Filter插件列表详见Logstash Filter

grok

grok原生正则

Grok filter plugin

json

• skip_on_invalid_json:允许对无效json不进行过滤操作
• source:进行json转换的字段
• remove_field:删除字段(可用于剔除转换前的字段)

 json {
    skip_on_invalid_json => true
    source => "message"
    remove_field => ["message"]
 }

详细配置见Json filter plugin

Logstash 完整配置

Logstach.conf：

input {
  tcp {
    host => "ip"
    port => "port"
    codec => "plain"
  }
}

filter {

    grok {
        patterns_dir => ["./patterns"]
        match => {
           "message" => "\[%{LOGLEVEL:level}\] \[%{DATE_FORMAT:time}\]\[%{JAVACLASS:class}\]%{GREEDYDATA:message}"
        }
        overwrite => ["message"]
     }

     json {
        skip_on_invalid_json => true
        source => "message"
        remove_field => ["message"]
     }

    if [host] == "ip" {
        mutate {
            add_field => {
                "[@metadata][index_prefix]" => "service-dev"
            }
        }
    }

    if [host] == "ip" {
        mutate {
            add_field => {
                "[@metadata][index_prefix]" => "service-prod"
            }
        }
    }
}

output {
    stdout {
       codec => rubydebug
    }

    elasticsearch {
        hosts => ["devcdhsrv1:9200","devcdhsrv2:9200","devcdhsrv3:9200"]
        user => ""
        password => ""
        index => "%{[@metadata][index_prefix]}-%{+YYYY.MM.dd}"
        codec => json
    }
}

---

参考资料：
1.TCP input plugin
2.logstash grok插件语法介绍
3.Grok Debugger