Redis 的介绍

1.1 Redis 介绍

• Redis是一个key-vakue存储系统，支持五种存储结构：String,Hash,List,Set,Sorted Set。与memcached一样为了保证效率，将数据储存在内存中。区别的是Redis会周期的把更新的数据写入磁盘或者把修改操作写入追加的文件中，并在此基础上实现了主从同步。
• Redis相比memcached有哪些优势？

  • memcached所有的值均是简单的字符串，redis作为其替代者，支持更为丰富的数据类型

  • redis的速度比memcached快很多

  • redis可以持久化其数据

1.2 Redis 的优缺点

1.2.1 Redis的优点

1、支持多种数据类型（同简介中有写的五种数据类型）

• redis支持set,zset,list,hash,string这五种数据类型，操作非常方便，如果在做好友系统，查看自己的好友关系，如果采用其他的key-value系统，则必须把对应的好友拼接成字符串，然后在提取好友时，再把value进行解析，而redis则相对简单，直接支持list的存储(采用双向链表或者压缩链表的存储方式)。
• 五种数据类型

  字符串

  • value的数据结构（数组）
    • 字符串value数据结构类似于数组，采用与分配冗余空间来减少内存频繁分配
    • 当字符串长度小于1M时，扩容就是加倍现有空间
    • 如果字符串长度操作1M时，扩容时最多扩容1M空间，字符串最大长度为 512M
  • 字符串的使用场景（缓存）
    • 字符串一个常见的用途是缓存用户信息，我们将用户信息使用JSON序列化成字符串
    • 取用户信息时会经过一次反序列化的过程
  • name: value (value=json.dumps([{‘11.12迟到’},{},{}]))

  list（列表）

  • value的数据结构（双向链表）
    • 列表的数据结构是双向链表，这意味着插入和删除的时间复杂度是0(1)，索引的时间复杂度位0(n)
    • 当列表弹出最后一个元素后，该数据结构会被自动删除，内存被回手
  • 使用场景
    • 列表的使用场景（队列、栈）

  hash（字典）

  • value的数据结构（HashMap）
    • redis中的字典也是HashMap（数组+列表）的二维结构
    • 不同的是redis的字典的值只能是字符串
      
  • hash的使用场景（缓存）
    • hash结构也可以用来缓存用户信息，与字符串一次性全部序列化整个对象不同，hash可以对每个字段进行单独存储
    • 这样可以部分获取用户信息，节约网络流量
    • hash也有缺点，hash结构的存储消耗要高于单个字符串
    • info={“name”:“zhs”,“age”:18}
      • 字符串存：info={“name”:“zhs”,“age”:18}
      • hash：info={“name”:“zhs”, “age”:18}

  set（集合）

  • value的数据结构（字典）
    • redis中的集合相当于一个特殊的字典，字典的所有value都位null
    • 当集合中的最后一个元素被移除后，数据结构会被自动删除，内存被回收
  • set使用场景
    • set结构可以用来存储某个活动中中奖的用户ID,因为有去重功能，可以保证同一用户不会中间两次

  zset（有序集合）

  • value的数据结构（跳跃列表）
    • zset一方面是一个set，保证了内部的唯一性
    • 另一方面它可以给每一个value赋予一个score，代表这个value的权重
    • zset内部实现用的是一种叫做“跳跃列表”的数据结构
    • zset最后一个元素被移除后，数据结构就会被自动删除，内存也会被回收
  • zset应用场景
    • 粉丝列表：value（粉丝ID），score（关注时间），这样可以轻松按关注事件排序
    • 学生成绩：value（学生ID），score（考试成绩），这样可以轻松对成绩排序

2、持久化存储

RDB持久化原理（快照）

• redis把磁盘中原有数据全部丢弃，然后把redis内存中数据全部重新写入磁盘（每隔一定时间给内存照一个快照，将内存中的数据写入文件（rdb文件））
• 缺点：
  • 会丢失数据（当磁盘数据丢弃，正在写入时如果出现故障会导致数据丢失）
• 优点：
  • 整个Redis数据库将只包含一个文件，一旦系统出现灾难性故障，我们可以非常容易的进行恢复。
  • 性能最大化，它仅需要fork出子进程，由子进程完成持久化工作，极大的避免服务进程执行IO操作了。
    

AOF持久化原理（镜像）

• 把所有的修改操作先写入日志中，然后逐条的执行最后就写入磁盘
  • 缺点：
    • 对于相同数量的数据集而言，AOF文件通常要大于RDB文件，RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快
    • OF在运行效率上往往会慢于RDB
  • 优点 :
    • 数据安全性高，Redis中提供了3中同步策略，即每秒同步、每修改同步和不同步
      

3、性能很好（运行快）

• 纯内存操作
• 单线程避免上下文切换
• 非阻塞IO多路复用机制

1.2.2 Redis 缺点

• Redis不具备自动容错和恢复功能，主机从机的宕机都会导致前端部分读写请求失败，需要等待机器重启或者手动切换前端的IP才能恢复。
• redis是单线程的，单台服务器无法充分利用多核服务器的CPU
• 内存限制，不能用作海量数据
• 缓存和数据库双写一致性问题
• 缓存雪崩问题
• 缓存击穿问题
• 缓存的并发竞争问题

1.3 redis雪崩&穿透&击穿

1.3.1 缓存穿透

• 定义

1. 缓存穿透是指查询一个一定不存在的数据，由于缓存不命中，接着查询数据库也无法查询出结果，

2. 虽然也不会写入到缓存中，但是这将会导致每个查询都会去请求数据库，造成缓存穿透；

• 解决方法 ：布隆过滤

3. 对所有可能查询的参数以hash形式存储，在控制层先进行校验，不符合则丢弃，从而避免了对底层存储系统的查询压力；

1.3.2 缓存雪崩

• 定义

1. 缓存雪崩是指，由于缓存层承载着大量请求，有效的保护了存储层，但是如果缓存层由于某些原因整体不能提供服务

2. 于是所有的请求都会达到存储层，存储层的调用量会暴增，造成存储层也会挂掉的情况。

• 解决方法

3. 保证缓存层服务高可用性：比如 Redis Sentinel 和 Redis Cluster 都实现了高可用

4. 依赖隔离组件为后端限流并降级：比如对某个key只允许一个线程查询数据和写缓存，其他线程等待。

1.3.3 缓存击穿

• 定义

1. 缓存击穿，就是说某个 key 非常热点，访问非常频繁，处于集中式高并发访问的情况

2. 当这个 key 在失效的瞬间，大量的请求就击穿了缓存，直接请求数据库，就像是在一道屏障上凿开了一个洞。

• 解决方法

3. 解决方式也很简单，可以将热点数据设置为永远不过期；

4. 或者基于 redis or zookeeper 实现互斥锁，等待第一个请求构建完缓存之后，再释放锁，进而其它请求才能通过该 key 访问数据。

1.4 redis事物与分布式锁

• redis事物

1. 严格意义来讲,Redis的事务和我们理解的传统数据库(如mysql)的事务是不一样的；
2. Redis的事务实质上是命令的集合，在一个事务中要么所有命令都被执行，要么所有命令都不执行。
   　
   　需要注意的是:
   　 1.Redis的事务没有关系数据库事务提供的回滚（rollback），所以开发者必须在事务执行失败后进行后续的处理；
   　
   　 2.如果在一个事务中的命令出现错误，那么所有的命令都不会执行；
   　
   　 3.如果在一个事务中出现运行错误，那么正确的命令会被执行。

• redis原子操作

1. 原子操作是指不会被线程调度机制打断的操作

2. 这种操作一旦开始，就会一直运行到结束，中间不会切换任何进程

• 分布式锁

1. 分布式锁本质是占一个坑，当别的进程也要来占坑时发现已经被占，就会放弃或者稍后重试

2. 占坑一般使用 setnx(set if not exists)指令，只允许一个客户端占坑

3. 先来先占，用完了在调用del指令释放坑

> setnx lock:codehole true
.... do something critical ....
> del lock:codehole

4. 但是这样有一个问题，如果逻辑执行到中间出现异常，可能导致del指令没有被调用，这样就会陷入死锁，锁永远无法释放

5. 为了解决死锁问题，我们拿到锁时可以加上一个expire过期时间，这样即使出现异常，当到达过期时间也会自动释放锁

> setnx lock:codehole true
> expire lock:codehole 5
.... do something critical ....
> del lock:codehole

6. 这样又有一个问题，setnx和expire是两条指令而不是原子指令，如果两条指令之间进程挂掉依然会出现死锁

7. 为了治理上面乱象，在redis 2.8中加入了set指令的扩展参数，使setnx和expire指令可以一起执行

set lock:codehole true ex 5 nx
‘’’ do something ‘’’
del lock:codehole