Spring Boot与Logstash整合

ELK可以说是当前对分布式服务器集群日志做汇总、分析、统计和检索操作的很好的一套系统了。而Spring Boot作为一套为微服务而生的框架,自然也免不了处理分布式日志的问题,通过ELK日志系统来处理日志还是很有意义的。在这套系统中,E即为ElasticSearch,负责日志存储;L为LogStash,负责日志收集,并将日志信息写入ElasticSearch,K则为Kibana,负责将ElasticSearch中的日志数据进行可视化及分析检索操作。可以说将Spring Boot与ELK整合很大程度上相当于将Spring Boot与Logstash进行整合。将那么如何将Spring Boot与LogStash整合起来呢?

在Spring Boot当中,默认使用logback进行log操作。和其他日志工具如log4j一样,logback支持将日志数据通过提供IP地址、端口号,以Socket的方式远程发送。在Spring Boot中,通常使用logback-spring.xml来进行logback配置。

要想将logback与Logstash整合,必须引入logstash-logback-encoder包。该包的依赖如下:

<dependency>

<groupId>net.logstash.logback</groupId>

<artifactId>logstash-logback-encoder</artifactId>

<version>4.9</version>

</dependency>

将依赖添加好之后,就可以进行logback的配置了。logback-spring.xml配置如下:

 
<?xml version="1.0" encoding="UTF-8"?>

<!DOCTYPE configuration>

<configuration>

<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">

<destination>192.168.226.132:4560</destination>

<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />

</appender>


<include resource="org/springframework/boot/logging/logback/base.xml"/>


<root level="INFO">

<appender-ref ref="LOGSTASH" />

<appender-ref ref="CONSOLE" />

</root>


</configuration>


logback的基础配置不多说,百度谷歌上一大把,这里我们只讨论与Logstash相关的部分。在上面的XML文件中的第4行至第7行即为Logstash的配置。destination为日志的发送地址,在配置Logstash的时候选择监听这个地址即可进行日志收集。这里我把Logstash部署在了本地的虚拟机上(其地址就是192.168.226.132),端口为4560。当然这里你需要把地址改成你自己的。下面的encoder是必选项。第9行到第14行则是为了保证Spring Boot原始的日志配置不被覆盖。这里logback配置完毕。

Logstash方面,在安装目录下新建一个文件夹conf,在conf文件夹下创建文件logstash-springboot.conf,内容如下:

input {

tcp {

port => 4560 //从本地的4560端口取日志。这里笔者将Logstash部署在了虚拟机192.168.226.132上,所以取的是本地地址。

codec => json_lines //需要安装logstash-codec-json_lines插件

}

}

output{

elasticsearch { hosts => ["localhost:9200"] } //输出到ElasticSearch

stdout { codec => rubydebug } //若不需要在控制台中输出,此行可以删除

}
如果你的Logstash没有安装logstash-codec-json_lines插件,通过以下命令安装:
bin/plugin install logstash-codec-json_lines


大功告成!最终效果如下:

 
  1. {

  2. "@timestamp" => "2017-04-23T06:14:52.734Z",

  3. "@version" => 1,

  4. "message" => "Tomcat started on port(s): 8000 (http)",

  5. "logger_name" => "org.springframework.boot.context.embedded.tomcat.TomcatEmbeddedServletContainer",

  6. "thread_name" => "main",

  7. "level" => "INFO",

  8. "level_value" => 20000,

  9. "HOSTNAME" => "bogon",

  10. "host" => "192.168.226.1",

  11. "port" => 56168

  12. }

  13. {

  14. "@timestamp" => "2017-04-23T06:14:52.744Z",

  15. "@version" => 1,

  16. "message" => "Initialize complete! I am init runner.",

  17. "logger_name" => "org.fhp.springbootdemo.controller.InitRunner",

  18. "thread_name" => "main",

  19. "level" => "INFO",

  20. "level_value" => 20000,

  21. "HOSTNAME" => "bogon",

  22. "host" => "192.168.226.1",

  23. "port" => 56168

  24. }

  25. {

  26. "@timestamp" => "2017-04-23T06:14:52.749Z",

  27. "@version" => 1,

  28. "message" => "MDC complete!IP=bogon",

  29. "logger_name" => "org.fhp.springbootdemo.controller.InitRunner",

  30. "thread_name" => "main",

  31. "level" => "INFO",

  32. "level_value" => 20000,

  33. "HOSTNAME" => "bogon",

  34. "ip" => "bogon",

  35. "host" => "192.168.226.1",

  36. "port" => 56168

  37. }


参考:https://github.com/logstash/logstash-logback-encoder

猜你喜欢

转载自blog.csdn.net/qq_35119422/article/details/81950258