redis使用pipeline通道大幅度提升redis的处理速度,节省成本

最近在做项目的时候，遇到大量的读写，最开始都是set,get一条条的循环去取数据，当数据量大的时候，数据处理相当慢慢，就想到批处理数据的方式，最开始set数据的时候，想到的是mset 也算是批量插入数据，这个在数据量几百的话甚至几千的插入量，也是OK的，取数据的时候用mget 这个100的数据量以下，性能还可以保证，再大的话就是严重有问题，数据量越大取出的成本本越高，另外一个，在用mset批量插入的时候，遇到一个难道，不过这是对redis不太了解的原因，后面无意中发现，set的时候，可以直接在后面参加参数，利用redisTemplate模板,

redisTemplate.opsForValue().set("key_s2", maps2.toString(), 1000, TimeUnit.SECONDS); 轻松搞定
下面主要是针对 pipeline 管道方式批量插入，插入的数据量都是在100000条数据，redis通过tcp来对外提供服务，client通过socket连接发起请求，每个请求在命令发出后会阻塞等待redis服务器进行处理，处理完毕后将结果返回给client。每一个命令都对应了发送、接收两个网络传输，假如一个流程需要0.1秒，那么一秒最多只能处理10个请求，将严重制约redis的性能。

当我们要处理上万以上数据的时候，就不得不另想办法，此时pipeline管道就是解决执行大量命令时、会产生大量数据来回次数而导致延迟的技术。其实原理比较简单，pipeline是把所有的命令一次发过去，避免频繁的发送、接收带来的网络开销，redis在打包接收到一堆命令后，依次执行，然后把结果再打包返回给客户端。

下面直接用代码试下，当然还作了其它的一些改动，比如RedisConnection 和SessionCallback 参数性能上不太一样，相差也不多，重点说一下， redisConnection.openPipeline(); 这个方法在doInRedis内部其实已经有，但是在这里首先打开和关闭，对性能有一定的提高，10万次提升100毫秒左右

//加 redisConnection.openPipeline(); 打开资源第一次耗时：470 第二次耗时：468 毫秒

//不加redisConnection.openPipeline();打开和关闭第一次耗时：533 第二次耗时：490，主要是第一次执行操作其实是可以忽略了，并且这个的参数是 doInRedis重写方法是 RedisConnection 参数，后续对set的的操作必须是以redisConnection 参数开始，应该是新建一个接连去处理后续的所有操作，再到通道关闭，这样麻烦一些，所有的序列化都要自己去处理

public void pipelinedTest(){
       Long time = System.currentTimeMillis();
       for (int i = 0; i < 10000; i++) {
           redisTemplate.opsForValue().increment("pipline", 1);
       }
       System.out.println("耗时：" + (System.currentTimeMillis() - time));
       time = System.currentTimeMillis();
       Map maps = new HashMap<>();
       maps.put("name", "lmc");
       maps.put("姓名", "李四");
       redisTemplate.executePipelined(new RedisCallback<Object>() {
@Override
public Object doInRedis(RedisConnection redisConnection) throws DataAccessException {
redisConnection.openPipeline();
for (int i = 0;i < 100000;i++){
   redisConnection.incrBy("a".getBytes(),1L);
}
redisConnection.set("keys".getBytes(), maps.toString().getBytes());
redisConnection.closePipeline();
return null;
}
});
       System.out.println("*****************"+redisTemplate.opsForValue().get("keys"));
       System.out.println("耗时：" + (System.currentTimeMillis() - time));
   }

第二种方式 execute 重写方法，参数RedisOperations 这种方式比较省心，不需要参数来操作，用redisTemplate模板操作直接省去了很多数据封装的问题，但是性能上稍微差一点
// 这是第一次执行耗时：596 第二次执行耗时：589 毫秒

       Long time = System.currentTimeMillis();
       Map maps2 = new HashMap<>();
       maps2.put("name", "lmc");
       maps2.put("姓名", "李四");
       time = System.currentTimeMillis();
       redisTemplate.executePipelined(new SessionCallback<Object>() {
           @Override
           public <K, V> Object execute(RedisOperations<K, V> redisOperations) throws DataAccessException {
               for (int i = 0; i < 100000; i++) {
                   redisTemplate.opsForValue().increment("piplineddd", 1L);
               }
               redisTemplate.opsForValue().set("key_s2", maps2.toString(), 1000, TimeUnit.SECONDS);
               return null;
           }
       });
       System.out.println("$$$$$$$$$$$$$$$$: "+redisTemplate.opsForValue().get("key_s2"));
       System.out.println("耗时：" + (System.currentTimeMillis() - time));
直接一次性提交，所以executePipelined源码提供了多种方式供我们选择，底层提交都一样的，只是在对外提供的方式为了满足更多的需求，

还在慢慢研究当中，如有描述不恰当的，还请各位指教

redis使用pipeline通道大幅度提升redis的处理速度,节省成本

猜你喜欢