由于项目需要使用Redis内存数据库,数据库使用到没什么,只是中间出现了一个小插曲,现在对其排查过程进行总结,希望对遇到相同问题的人有所帮助。
背景:
项目并发量非常高,客户端使用Jedis,每个请求都会从Jedis链接池(JedisPool)中获取Jedis链接,通过Jedis链接对象,操作Redis数据库中的数据,Redis服务端连接不释放,一直增长,无论线程池调多大,随着时间的推移都会被占满,百思不得其解;
开发环境搭建:
1、引入redis的客户端Jar包;
redis有多种客户端,本项目中所采用的是Jedis作为客户端,使用Maven对项目进行管理,下面是Jedis客户端jar包在Maven中依赖配置:
<dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.6.0</version> </dependency>
2、将Jedis客户端与Spring框架相结合,配置文件如下:
<!-- 定义加载资源文件 --> <context:property-placeholder location="classpath:redis.properties" ignore-unresolvable="true" /> <!-- 对象资源池初始化配置 --> <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig"> <property name="maxTotal" value="${redis.pool.maxTotal}"/> <property name="maxIdle" value="${redis.pool.maxIdle}" /> <property name="minIdle" value="${redis.pool.minIdle}"/> <property name="maxWaitMillis" value="${redis.pool.maxWaitMillis}"/> <property name="testOnBorrow" value="${redis.pool.testOnBorrow}" /> <property name="testOnReturn" value="${redis.pool.testOnReturn}" /> <property name="testWhileIdle" value="${redis.pool.testWhileIdle}" /> <property name="numTestsPerEvictionRun" value="${redis.pool.numTestsPerEvictionRun}" /> <property name="timeBetweenEvictionRunsMillis" value="${redis.pool.timeBetweenEvictionRunsMillis}" /> </bean> <!-- redis 单机资源池 --> <bean id="jedisPool" class="redis.clients.jedis.JedisPool" scope="singleton" lazy-init="true" > <constructor-arg index="0" ref="jedisPoolConfig" /> <constructor-arg index="1" value="${redis.ip}" /> <constructor-arg index="2" value="${redis.port}" type="int" /> <constructor-arg index="3" value="${redis.timeout}" type="int" /> </bean>
redis.properties文件的配置如下:
#最大活动对象数 redis.pool.maxTotal=1000 #最大能够保持idel状态的对象数 redis.pool.maxIdle=100 #最小能够保持idel状态的对象数 redis.pool.minIdle=50 #当池内没有返回对象时,最大等待时间 redis.pool.maxWaitMillis=10000 #当调用borrow Object方法时,是否进行有效性检查 redis.pool.testOnBorrow=true #当调用return Object方法时,是否进行有效性检查 redis.pool.testOnReturn=true #“空闲链接”检测线程,检测的周期,毫秒数。如果为负值,表示不运行“检测线程”。默认为-1. redis.pool.timeBetweenEvictionRunsMillis=30000 #向调用者输出“链接”对象时,是否检测它的空闲超时; redis.pool.testWhileIdle=true # 对于“空闲链接”检测线程而言,每次检测的链接资源的个数。默认为3. redis.pool.numTestsPerEvictionRun=50 #redis服务器的IP redis.ip=xxxxxx #redis服务器的Port redis1.port=6379
3、写了一个工具类获取Jedis资源与释放Jedis资源,代码如下:
@Service public class JedisUtils { private static Log logger = LogFactory.getLog(JedisUtils.class); /** * 自动注入Redis连接实例对象线程池 */ @Autowired private JedisPool jedisPool; /** * 获取Jedis对象 * @return */ public synchronized Jedis getJedis(){ Jedis jedis = null; if(jedisPool != null){ try{ if(jedis == null ){ jedis = jedisPool.getResource(); } }catch(Exception e){ logger.error(e.getMessage(),e); } } return jedis; } /** * 回收Jedis对象资源 * @param jedis */ public synchronized void returnResource(Jedis jedis){ if(jedis != null){ jedisPool.returnResource(jedis); } } /** * Jedis对象出异常的时候,回收Jedis对象资源 * @param jedis */ public synchronized void returnBrokenResource(Jedis jedis){ if(jedis != null){ jedisPool.returnBrokenResource(jedis); } } }
4、业务中使用Jedis相关代码:
public synchronized boolean offer(WarnMessage message) throws NullPointerException, IllegalArgumentException { boolean addFlag = false; String messageQueueName = getMessageQueueName(); checkKey(messageQueueName); if(message == null){ throw new NullPointerException("数据列表不存在"); } Jedis jedis = jedisUtils.getJedis(); if(jedis == null){ throw new NullPointerException("Jedis is Null"); } try{ long queueCurrValue = jedis.llen(messageQueueName); if(queueCurrValue >= queueMaxSize){ return addFlag; } String serizlizetValue = JSON.toJSONString(message); if(StringUtils.isNotBlank(serizlizetValue)){ long queueLength = jedis.lpush(messageQueueName, serizlizetValue); if(queueLength - queueCurrValue > 0){ addFlag = true; } } }catch(Exception e){ jedisUtils.returnBrokenResource(jedis); logger.error(e.getMessage(), e); }finally{ jedisUtils.returnResource(jedis); } return addFlag; }
以上是整个项目对Jedis正常使用配置的情况,是问题修改后能够正常运行的代码,当时redis服务端链接不释放的原因是,通过
Jedis jedis = jedisUtils.getJedis();
获取了Jedis这段代码写在了如下代码之前,这样生产环境中若真不存在数据,链接建立了,抛出了异常,但是Jedis链接释放的代码没有得到执行,这样每次使用offer方法,没有数据,就会创建一个jedis链接,直到将链接池撑满报错为止,Jedis链接不会像数据库那样自动回收链接到池中,只能手动的回收释放,希望大家在写代码的时候注意,这些细节。
if(message == null){ throw new NullPointerException("数据列表不存在"); }