logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引

那么问题来了不能每个小应用都配置一个 logstash 服务来传输日志吧，把所有的日志都输送到一个logstash里面然后logstash会都输送到一个索引下（之前不知道怎么配），输送到同一个所以下那么问题又来了，首先每个小服务程序日志量不大希望持续监控，也不需要用时间来分割（因为日志量不大），又希望查询方便（不要告诉我查询的时候多一个筛选条件就可以了，俺就是不想那样嫌乱不好找）。所有有了下面的解决方案

首先本人用的日志框架是logback，使用

　　　　 <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>4.11</version>
        </dependency>

这个包进行 socket向lostash进行日志输送

以下为重点

首先通读上面pom文件依赖的开源包文档net.logstash.logback,连接地址为：https://github.com/logstash/logstash-logback-encoder

看完之后马上回来，就会明白我下面说的

首先配置logback.xml日志

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false" scan="true" scanPeriod="1 seconds">
    <include resource="org/springframework/boot/logging/logback/base.xml" />
    <!-- <jmxConfigurator/> -->
    <contextName>logback</contextName>

    <property name="log.path" value="E:\\123456\\logback.log" />

    <property name="log.pattern"
        value="%d{yyyy-MM-dd HH:mm:ss.SSS} -%5p ${PID} --- [%15.15t] %-40.40logger{39} : %m%n" />

    
    <appender name="file"
        class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}</file>

        <encoder>
            <pattern>${log.pattern}</pattern>
        </encoder>

        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">

            <fileNamePattern>info-%d{yyyy-MM-dd}-%i.log
            </fileNamePattern>

            <timeBasedFileNamingAndTriggeringPolicy
                class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">

                <maxFileSize>10MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
            <maxHistory>10</maxHistory>
        </rollingPolicy>
    </appender>

    <!-- 上传到那个服务器接口 -->

< appender name ="api-logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
< destination >10.10.129.35:4569</destination>

  <!-- <destination>destination1.domain.com:4560</destination> 
        <destination>destination2.domain.com:4560</destination> 
        <destination>destination3.domain.com:4560</destination> -->

< encoder charset ="UTF-8" class ="net.logstash.logback.encoder.LogstashEncoder" > < customFields >{"appname":"myapp"} </ customFields > </ encoder > <keepAliveDuration>5 minutes</keepAliveDuration> </ appender >

    <!-- 异步写入日志 -->

    <appender name="api-async" class="ch.qos.logback.classic.AsyncAppender">

        <appender-ref ref="api-logstash"/>

        <queueSize>8192</queueSize>

        <discardingThreshold>0</discardingThreshold>

    </appender>

    <!-- 指定监控那个日志类 -->

        <appender-ref ref="api-async"/>

    </logger>
</configuration>

哦忘了解释一下

<keepAliveDuration>5 minutes</keepAliveDuration>

这个配置是向logstash输出日志如果有多个logstash IP或端口可以轮询负载各端口

logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引

猜你喜欢