log4j2日志异步打印

 

log4j2支持日志的异步打印,日志异步输出的好处在于,使用单独的进程来执行日志打印的功能,可以提高日志执行效率,减少日志功能对正常业务的影响。

异步日志在程序的classpath需要加载disruptor-3.0.0.jar或者更高的版本。

Asynchronous Loggers是一个新增特性在Log4j 2 ,可以实现完全异步也可以和同步混合使用,还可以只异步化Appender,以提升系统性能,官方数据显示混合没有完全异步化效果好。

 

1,完全异步模式:
这种异步日志方式,不需要修改原来的配置文件,Logger仍然使用<root> and <logger>
只需要在主程序代码开头,加一句系统属性的代码:

System.setProperty("Log4jContextSelector", "org.apache.logging.log4j.core.async.AsyncLoggerContextSelector");

或者设置启动参数:

-DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector


2,
异步和非异步混合输出模式
在配置文件中Logger使用<asyncRoot> <asyncLogger>,而且<asyncRoot> <asyncLogger>可以和<root> <logger>混合使用。
<!--[if !supportLineBreakNewLine]-->
<!--[endif]-->


<?xml version="1.0" encoding="UTF-8"?>
 
<!-- No need to set system property "Log4jContextSelector" to any value
when using <asyncLogger> or <asyncRoot>. -->
 
<Configuration status="WARN">
         <Appenders>
                 <!-- Async Loggers will auto-flush in batches, so switch off immediateFlush. -->
                 <RandomAccessFile name="RandomAccessFile" fileName="asyncWithLocation.log"
                 immediateFlush="false" append="false">
                          <PatternLayout>
                                   <Pattern>%d %p %class{1.} [%t] %location %m %ex%n</Pattern>
                          </PatternLayout>
                 </RandomAccessFile>
         </Appenders>
         <Loggers>
                 <!-- pattern layout actually uses location, so we need to include it -->
                 <AsyncLogger name="com.foo.Bar" level="trace" includeLocation="true">
                          <AppenderRef ref="RandomAccessFile"/>
                 </AsyncLogger>
                 <Root level="info" includeLocation="true">
                          <AppenderRef ref="RandomAccessFile"/>
                 </Root>
         </Loggers>
</Configuration>

这里需要注意的是,如果使用<asyncRoot> <asyncLogger>includeLocation="true"是必须要设置才会有类路径等一些信息打印出来。


3
,只异步化Appender
<Appenders>标签里增加如下<Async>标签
<!--[if !supportLineBreakNewLine]-->
<!--[endif]-->

<Async name="asyncAppender" includeLocation="true">
    <AppenderRef ref="RandomAccessFile"/>
</Async>

然后在<Root>或者<Logger>标签中引用asyncAppender即可,这里includeLocation是增加在<Async>标签中的。
<!--[if !supportLineBreakNewLine]-->
<!--[endif]-->

<Root level="info">
<AppenderRef ref="RandomAccessFile"/>
</Root>


无论是完全异步模式还是混合模式,在Appender标签中,immediateFlush属性无论为true或者false,效果都是和设置false是一样的。


4
,性能对比
完全异步 > 混合模式 > 只异步化Appender > 同步


5
,疑问
使用混合异步模式进行多线程写日志测试的时候,偶尔会出现日志没有写完的情况。是不是主线程执行完了,不会等待写日志的线程执行完,就把进程给停掉了?在主线程的最后sleep几秒,就没有再出现日志写不完的情况了。
 

 

 首先disruptor是特别适用于对时间高度敏感的多线程应用。如果app对时间不敏感完全可以不用disruptor 而只用array blocking queue. 再如果废了好大劲挣回来30毫秒,结果被一个数据库连接耗掉1秒,也没必要用。所以搞清楚适用的环境很重要。

其次这个技术其实很酷的。最酷的地方不是ring buffer 而是想到直接用CPU指令做CAS. Ring buffer是做了工程级别的优化,对于CPU branch prediction更友好。也就是我们说的cache friendly。其他的别人没提到的好处是可以replay ,这样对daily regression test很方便。

实际适用的例子随便举两个。 一个是实时的Reuters 市场数据接收,redistribute 到其他进程或者线程。另一个是如果algo model 决定place order or pull order from the market,就需要以最快的方式给市场发指令。在一个是比较复杂一点:多个ring buffer穿起来形成一个小型producer consumer 工作流,这个用的人应该不算多我就不白虎了。
http://ifeve.com/disruptor/
 

猜你喜欢

转载自kavy.iteye.com/blog/2399623