Redis 的持久化总结

一,前言

redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。

Redis中数据存储模式有2种:

cache-only即只做为“缓存”服务,不持久数据,数据在服务终止后将消失,此模式下也将不存在“数据恢复”的手段,是一种安全性低/效率高/容易扩展的方式;
persistence即为内存中的数据持久备份到磁盘文件,在服务重启后可以恢复,此模式下数据相对安全。

对于persistence持久化存储,Redis提供了两种持久化方法:

  • Redis DataBase(简称RDB)-snapshots-快照持久化
  • Append-only file (简称AOF)

RDB概述

RDB是在某个时间点将数据写入一个临时文件,持久化结束后,用这个临时文件替换上次持久化的文件,达到数据恢复。 
优点:使用单独子进程来进行持久化,主进程不会进行任何IO操作,保证了redis的高性能 
缺点:RDB是间隔一段时间进行持久化,如果持久化之间redis发生故障,会发生数据丢失。所以这种方式更适合数据要求不严谨的时候

这里说的这个执行数据写入到临时文件的时间点是可以通过配置来自己确定的,通过配置redis在n秒内如果超过m个key被修改这执行一次RDB操作。这个操作就类似于在这个时间点来保存一次Redis的所有数据,一次快照数据。所有这个持久化方法也通常叫做snapshots——快照持久化。

RDB默认开启,redis.conf中的具体配置参数如下;

#dbfilename:持久化数据存储在本地的文件
dbfilename dump.rdb
#dir:持久化数据存储在本地的路径,如果是在/redis/redis-3.0.6/src下启动的redis-cli,则数据会存储在当前src目录下
dir ./
##snapshot触发的时机,save <seconds> <changes>  
##如下为900秒后,至少有一个变更操作,才会snapshot  
##对于此值的设置,需要谨慎,评估系统的变更操作密集程度  
##可以通过“save “””来关闭snapshot功能  
#save时间,以下分别表示更改了1个key时间隔900s进行持久化存储;更改了10个key300s进行存储;更改10000个key60s进行存储。
save 900 1
save 300 10
save 60 10000
##当snapshot时出现错误无法继续时,是否阻塞客户端“变更操作”,“错误”可能因为磁盘已满/磁盘故障/OS级别异常等  
stop-writes-on-bgsave-error yes  
##是否启用rdb文件压缩,默认为“yes”,压缩往往意味着“额外的cpu消耗”,同时也意味这较小的文件尺寸以及较短的网络传输时间  
rdbcompression yes  

snapshot触发的时机,是有“间隔时间”和“变更次数”共同决定,同时符合2个条件才会触发snapshot,否则“变更次数”会被继续累加到下一个“间隔时间”上。snapshot过程中并不阻塞客户端请求。snapshot首先将数据写入临时文件,当成功结束后,将临时文件重名为dump.rdb。

使用RDB恢复数据: 
如果需要恢复数据,只需将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可。获取 redis 目录可以使用 CONFIG 命令,如下所示:

redis 127.0.0.1:6379> CONFIG GET dir
1) "dir"
2) "/usr/local/redis/bin"

客户端使用命令进行持久化save存储: 

./redis-cli -h ip -p port save
./redis-cli -h ip -p port bgsave

一个是在前台进行存储,一个是在后台进行存储。另一点需要注意的是,每次快照持久化都是将内存数据完整写入到磁盘一次,并不是增量的只同步脏数据。如果数据量大的话,而且写操作比较多,必然会引起大量的磁盘io操作,可能会严重影响性能。

AOF概述

Append-only file,将“操作 + 数据”以格式化指令的方式追加到操作日志文件的尾部,在append操作返回后(已经写入到文件或者即将写入),才进行实际的数据变更,“日志文件”保存了历史所有的操作过程;当server需要数据恢复时,可以直接replay此日志文件,即可还原所有的操作过程。AOF相对可靠,它和mysql中bin.log、apache.log、zookeeper中txn-log简直异曲同工。AOF文件内容是字符串,非常容易阅读和解析。 
优点:可以保持更高的数据完整性,如果设置追加file的时间是1s,如果redis发生故障,最多会丢失1s的数据;且如果日志写入不完整支持redis-check-aof来进行日志修复;AOF文件没被rewrite之前(文件过大时会对命令进行合并重写),可以删除其中的某些命令(比如误操作的flushall)。 
缺点:AOF文件比RDB文件大,且恢复速度慢。

AOF持久化以日志的形式记录服务器所处理的每一个写、删除操作,查询操作不会记录,以文本的方式记录,可以打开文件看到详细的操作记录。

AOF默认关闭,开启方法,修改配置文件reds.conf:appendonly yes

##此选项为aof功能的开关,默认为“no”,可以通过“yes”来开启aof功能  
##只有在“yes”下,aof重写/文件同步等特性才会生效  
appendonly yes  

##指定aof文件名称  
appendfilename appendonly.aof  

##指定aof操作中文件同步策略,有三个合法值:always everysec no,默认为everysec  
appendfsync everysec  
##在aof-rewrite期间,appendfsync是否暂缓文件同步,"no"表示“不暂缓”,“yes”表示“暂缓”,默认为“no”  
no-appendfsync-on-rewrite no  

##aof文件rewrite触发的最小文件尺寸(mb,gb),只有大于此aof文件大于此尺寸是才会触发rewrite,默认“64mb”,建议“512mb”  
auto-aof-rewrite-min-size 64mb  

##相对于“上一次”rewrite,本次rewrite触发时aof文件应该增长的百分比。  
##每一次rewrite之后,redis都会记录下此时“新aof”文件的大小(例如A),那么当aof文件增长到A*(1 + p)之后  
##触发下一次rewrite,每一次aof记录的添加,都会检测当前aof文件的尺寸。  
auto-aof-rewrite-percentage 100  

AOF是文件操作,对于变更操作比较密集的server,那么必将造成磁盘IO的负荷加重;此外linux对文件操作采取了“延迟写入”手段,即并非每次write操作都会触发实际磁盘操作,而是进入了buffer中,当buffer数据达到阀值时触发实际写入(也有其他时机),这是linux对文件系统的优化,但是这却有可能带来隐患,如果buffer没有刷新到磁盘,此时物理机器失效(比如断电),那么有可能导致最后一条或者多条aof记录的丢失。通过上述配置文件,可以得知redis提供了3中aof记录同步选项:

appendfsync always     #每次有数据修改发生时都会写入AOF文件。

appendfsync everysec  #每秒钟同步一次,该策略为AOF的缺省策略。

appendfsync no          #从不同步。高效但是数据不会被持久化。

总结:

AOF和RDB各有优缺点,这是有它们各自的特点所决定:

1) AOF更加安全,可以将数据更加及时的同步到文件中,但是AOF需要较多的磁盘IO开支,AOF文件尺寸较大,文件内容恢复数度相对较慢。 
2) snapshot,安全性较差,它是“正常时期”数据备份以及master-slave数据同步的最佳手段,文件尺寸较小,恢复数度较快。

字符串

命令格式

说明

SET key value

设置指定 key 的值

GET key

获取指定 key 的值

SETNX key value

(Set if Not Exist)只有在 key 不存在时设置 key 的值

SETRANGE key offset value

用 value 参数覆写给定 key 所储存的字符串值,从偏移量 offset 开始

GETRANGE key start end

返回 key 中字符串值的子字符

GETSET key value

将给定 key 的值设为 value ,并返回 key 的旧值

MSET key value [key value ...]

(Multi Set)同时设置一个或多个 key-value 对

MGET key1 [key2..]

获取所有(一个或多个)给定 key 的值

APPEND key value

如果 key 已经存在并且是一个字符串, APPEND 命令将 value 追加到 key 原来的值的末尾

SETEX key seconds value

(Set Expire)将值 value 关联到 key ,并将 key 的过期时间设为 seconds (以秒为单位)

PSETEX key milliseconds value

(Precise Set Expire)这个命令和 SETEX 命令相似,但它以毫秒为单位设置 key 的生存时间,而不是像 SETEX 命令那样,以秒为单位

STRLEN key

返回 key 所储存的字符串值的长度

INCR key

将 key 中储存的数字值增一,前提是value是一个数字

INCRBY key increment

将 key 所储存的值加上给定的增量值,前提是value是一个数字

INCRBYFLOAT key increment

将 key 所储存的值加上给定的浮点增量值,前提是value是一个数字

DECR key

将 key 中储存的数字值减一,前提是value是一个数字

DECRBY key decrement

key 所储存的值减去给定的减量值,前提是value是一个数字

哈希

命令格式

说明

HMSET key field1 value1 [field2 value2... ]

(Hash Multi Set)同时将多个 field-value 对设置到哈希表 key 中

HMGET key field1 [field2...]

获取所有给定字段的值

HSET key field value

将哈希表 key 中的字段 field 的值设为 value

HGET key field

获取存储在哈希表中指定字段的值

HGETALL key

获取在哈希表中指定 key 的所有字段和值

HDEL key field2 [field2]

删除一个或多个哈希表字段

HSETNX key field value

只有在字段 field 不存在时,设置哈希表字段的值

HKEYS key

获取所有哈希表中的字段

HVALS key

获取哈希表中所有值

HEXISTS key field

查看哈希表 key 中,指定的字段是否存在

HLEN key

获取哈希表中字段的数量

HINCRBY key field increment

为哈希表 key 中的指定字段的整数值加上增量

HINCRBYFLOAT key field increment

为哈希表 key 中的指定字段的浮点数值加上增量

列表

命令格式

说明

LPUSH key value1 [value2...]

将一个或多个值插入到列表头部

LPOP key

移出并获取列表的第一个元素

LPUSHX key value

(List Push if exist)将一个或多个值插入到已存在的列表头部

LINDEX key index

通过索引获取列表中的元素

LRANGE key start stop

获取列表指定范围内的元素

LSET key index value

通过索引设置列表元素的值

LTRIM key start stop

只保留指定区间内的元素,不在指定区间之内的元素都将被删除

RPOP key

(Rear Pop)移除并获取列表最后一个元素

RPUSH key value1 [value2...]

将一个或多个值插入到列表尾部

RPUSHX key value

将一个或多个值插入到已存在的列表尾部

LREM key count value

从列表中删除字段值为value的元素,删除count的绝对值个value后结束,count > 0 从表头删除;count < 0 从表尾删除;count=0 全部删除

RPOPLPUSH source destination

移除列表的最后一个元素,并将该元素添加到另一个列表并返回

BLPOP key1 [key2... ] timeout

移出并获取列表的第一个元素, 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止,如果timeout为0则一直等待下去

BRPOP key1 [key2... ] timeout

移出并获取列表的最后一个元素, 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止,如果timeout为0则一直等待下去

LINSERT key BEFORE | AFTERpivot value

在key 列表中寻找pivot,并在pivot值之前|之后插入value

LLEN key

获取列表长度

集合

命令格式

说明

SADD key member1 [member2…]

向集合添加一个或多个成员

SREM key member1 [member2…]

移除集合中一个或多个成员

SPOP key

移除并返回集合中的一个随机元素

SMEMBERS key

返回集合中的所有成员

SRANDMEMBER key [count]

返回集合中count个随机元素,如count为空,则只返回一个

SCARD key

(Set Cardinality)返回集合中的元素总数

SISMEMBER key member

判membe元素是否是集key 的成员

SMOVE source destination member

将member元素从source集合移动到destination集合

SDIFF key1 [key2…]

返回给定所有集合的差集,即以key1为基准,返回key1有且[key2...]没有的元素

SDIFFSTORE destination key1 [key2…]

返回给定所有集合的差集并存储在destination中

SINTER key1 [key2…]

返回给定所有集合的交集

SINTERSTORE destination key1 [key2…]

返回给定所有集合的交集并存储在destination中

SUNION key1 [key2…]

返回所有给定集合的并集

SUNIONSTORE destination key1 [key2…]

所有给定集合的并集存储在destination集合中

有序列表

命令格式

说明

ZADD key score1 member1 [score2 member2 ...]

添加一个或多个成员到有序集合,或者如果它已经存在更新其分数

ZRANGE key start stop [WITHSCORES]

把集合排序后,返回名次在[start,stop]之间的元素。 WITHSCORES是把score也打印出来

ZREVRANGE key start stop [WITHSCORES]

倒序排列(分数越大排名越靠前),返回名次在[start,stop]之间的元素

ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT offset n]

集合(升序)排序后取score在[min, max]内的元素,并跳过offset个,取出n个

ZREM key member [member ...]

从有序集合中删除一个或多个成员

ZRANK key member

确定member在集合中的升序名次

ZREVRANK key member

确定member在集合中的降序名次

ZSCORE key member

获取member的分数

ZCARD key

获取有序集合中成员的数量

ZCOUNT key min max

计算分数在min与max之间的元素总数

ZINCRBY key increment member

给member的分数增加increment

ZREMRANGEBYRANK key start stop

移除名次在start与stop之间的元素

ZREMRANGEBYSCORE key min max

移除分数在min与max之间的元素

参考链接:https://blog.csdn.net/canot/article/details/52886923

                https://www.cnblogs.com/chenliangcl/p/7240350.html

redis 五种结构命令大全:https://blog.csdn.net/yinbucheng/article/details/72809009

time:2018-07-28   10:36:52 

猜你喜欢

转载自www.cnblogs.com/xzj8023tp/p/9381101.html