redis的部署及redis服务的优化

文章目录

redis的部署及redis服务的优化

前言
1.环境
2.部署redis
3.优化redis配置
4.redis的相关操作
5.redis服务优化

5.1redis的持久优化

5.1.1RDB持久化
5.1.2AOF持久化

前言

redis是什么

Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。

redis的定义

redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便。

Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。存盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。

redis的官网地址，非常好记，是redis.io。（域名后缀io属于国家域名，是british Indian Ocean territory，即英属印度洋领地），Vmware在资助着redis项目的开发和维护。

redis的作者

redis 的作者，叫Salvatore Sanfilippo，来自意大利的西西里岛，居住在卡塔尼亚。目前供职于Pivotal公司。他使用的网名是antirez。

redis的性能

下面是官方的bench-mark数据：

测试完成了50个并发执行100000个请求。

设置和获取的值是一个256字节字符串。

Linux box是运行Linux 2.6,这是X3320 Xeon 2.5 ghz。

文本执行使用loopback接口(127.0.0.1)。

结果:读的速度是110000次/s,写的速度是81000次/s 。

常用命令

就DB来说，Redis成绩已经很惊人了，且不说memcachedb和[Tokyo Cabinet](https://baike.baidu.com/item/Tokyo Cabinet)之流，就说原版的memcached，速度似乎也只能达到这个级别。Redis根本是使用内存存储，持久化的关键是这三条指令：SAVE BGSAVE LASTSAVE …

当接收到SAVE指令的时候，Redis就会dump数据到一个文件里面。

值得一说的是它的独家功能：存储列表和集合，这是它与mc之流相比更有竞争力的地方。

不介绍mc里面已经有的东东，只列出特殊的：

TYPE key — 用来获取某key的类型

KEYS pattern — 匹配所有符合模式的key，比如KEYS * 就列出所有的key了，当然，复杂度O(n)

RANDOMKEY - 返回随机的一个key

RENAME oldkeynewkey— key也可以改名

列表操作，精华

RPUSH key string — 将某个值加入到一个key列表末尾

LPUSH key string — 将某个值加入到一个key列表头部

LLEN key — 列表长度

LRANGE key start end — 返回列表中某个范围的值，相当于mysql里面的分页查询那样

LTRIM key start end — 只保留列表中某个范围的值

LINDEX key index — 获取列表中特定索引号的值，要注意是O(n)复杂度

LSET key index value — 设置列表中某个位置的值

LPOP key

RPOP key — 和上面的LPOP一样，就是类似栈或队列的那种取头取尾指令，可以当成消息队列来使用了

集合操作

SADD key member — 增加元素

SREM key member — 删除元素

SCARD key — 返回集合大小

SISMEMBER key member — 判断某个值是否在集合中

SINTER key1 key2 … keyN — 获取多个集合的交集元素

SMEMBERS key — 列出集合的所有元素

还有Multiple DB的命令，可以更换db，数据可以隔离开，默认是存放在DB 0。

数据模型

Redis的外围由一个键、值映射的字典构成。与其他非关系型数据库主要不同在于：Redis中值的类型不仅限于字符串，还支持如下抽象数据类型：

字符串列表
无序不重复的字符串集合
有序不重复的字符串集合
键、值都为字符串的哈希表

值的类型决定了值本身支持的操作。Redis支持不同无序、有序的列表，无序、有序的集合间的交集、并集等高级服务器端原子操作。

数据结构

redis提供五种数据类型：string，hash，list，set及zset(sorted set)。

string（字符串）

string是最简单的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value，其上支持的操作与Memcached的操作类似。但它的功能更丰富。

redis采用结构sdshdr和sds封装了字符串，字符串相关的操作实现在源文件sds.h/sds.c中。

list（双向链表）

list是一个链表结构，主要功能是push、pop、获取一个范围的所有值等等。操作中key理解为链表的名字。对list的定义和实现在源文件adlist.h/adlist.c中。

dict（hash表）

set是集合，和我们数学中的集合概念相似，对集合的操作有添加删除元素，有对多个集合求交并差等操作。操作中key理解为集合的名字。在源文件dict.h/dict.c中实现了hashtable的操作。

dict中table为dictEntry指针的数组，数组中每个成员为hash值相同元素的单向链表。set是在dict的基础上实现的，指定了key的比较函数为dictEncObjKeyCompare，若key相等则不再插入。

zset（排序set）

zset是set的一个升级版本，他在set的基础上增加了一个顺序属性，这一属性在添加修改元素的时候可以指定，每次指定后，zset会自动重新按新的值调整顺序。可以理解了有两列的mysql表，一列存value，一列存顺序。操作中key理解为zset的名字。

zset利用dict维护key -> value的映射关系，用zsl(zskiplist)保存value的有序关系。zsl实际是叉数

不稳定的多叉树，每条链上的元素从根节点到叶子节点保持升序排序。

存储

redis使用了两种文件格式：全量数据和增量请求。

全量数据格式是把内存中的数据写入磁盘，便于下次读取文件进行加载；

增量请求文件则是把内存中的数据序列化为操作请求，用于读取文件进行replay得到数据，序列化的操作包括SET、RPUSH、SADD、ZADD。

redis的存储分为内存存储、磁盘存储和log文件三部分，配置文件中有三个参数对其进行配置。

save seconds updates，save配置，指出在多长时间内，有多少次更新操作，就将数据同步到数据文件。这个可以多个条件配合，比如默认配置文件中的设置，就设置了三个条件。

appendonly yes/no ，appendonly配置，指出是否在每次更新操作后进行日志记录，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为redis本身同步数据文件是按上面的save条件来同步的，所以有的数据会在一段时间内只存在于内存中。

appendfsync no/always/everysec ，appendfsync配置，no表示等操作系统进行数据缓存同步到磁盘，always表示每次更新操作后手动调用fsync()将数据写到磁盘，everysec表示每秒同步一次。

1.环境

VMware Workstation
centos7（部署redis），IP地址：192.168.73.200

2.部署redis

安装编译环境，准备安装redis

[root@redis ~]# yum install gcc gcc-c++ make -y
[root@redis ~]# mount.cifs //192.168.23.1/ccc /mnt
Password for root@//192.168.23.1/ccc:  
[root@redis ~]# cd /mnt/redis/
[root@redis redis]# tar zxvf redis-5.0.7.tar.gz -C /opt	'//redis源码包可以直接到官网下载'
[root@redis redis]# cd /opt/redis-5.0.7/
[root@redis redis-5.0.7]# make	'//直接进行make'
[root@redis redis-5.0.7]#  make PREFIX=/usr/local/redis/ install	'//指定redis目录并安装'
[root@redis redis-5.0.7]# cd /usr/local/redis/
[root@redis redis]# ls
bin
[root@redis redis]# cd bin/
[root@redis bin]# ls
redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server	'//redis-cli是连接终端'

执行redis配置文件脚本

[root@redis bin]# cd /opt/redis-5.0.7/utils/	'//回到redis源码包解压目录'
[root@redis utils]# ./install_server.sh 	'//执行脚本进行配置'
Welcome to the redis service installer
This script will help you easily set up a running redis server

Please select the redis port for this instance: [6379] 	'//选择redis默认接口，直接回车'
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] 	'//选择redis默认配置文件名称，直接回车'
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] 	'//选择默认redis日志文件名称，直接回车'
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] 	'//选择默认接口的默认数据文件，直接回车'
Selected default - /var/lib/redis/6379
Please select the redis executable path [] /usr/local/redis/bin/redis-server	'//选择redis可执行文件路径，需要手动输入此路径：/usr/local/redis/bin/redis-server'
Selected config:	'//选择的配置清单展示'
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/redis/bin/redis-server
Cli Executable : /usr/local/redis/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.	'//直接回车完成配置'
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!

3.优化redis配置

开启服务

[root@redis utils]# ln -s /usr/local/redis/bin/* /usr/local/bin	'//将redis命令创建软连接，便于系统识别'
[root@redis utils]# netstat -ntap |grep 6379
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      26085/redis-server  
[root@redis utils]# /etc/init.d/redis_6379 stop	'//先关闭redis服务'
Stopping ...
Redis stopped
[root@redis utils]# /etc/init.d/redis_6379 start	'//开启redis服务'
Starting Redis server...
[root@redis utils]# netstat -ntap |grep 6379	'//再次检查redis开启情况'
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      36566/redis-server  
tcp        0      0 127.0.0.1:6379          127.0.0.1:60648         TIME_WAIT   -

设置监听端口，启动服务

[root@redis utils]# vim /etc/redis/6379.conf 	'//修改配置文件'
bind 127.0.0.1 192.168.73.200	'//添加监听端口'
[root@redis utils]# /etc/init.d/redis_6379 restart	'//重启redis服务'
Stopping ...
Redis stopped
Starting Redis server...
[root@redis utils]# redis-cli -h 192.168.73.200 -p 6379	'//成功登陆'
192.168.73.200:6379> exit	'//退出'

4.redis的相关操作

redis压测

[root@redis utils]# redis-benchmark -h 192.168.73.200 -p 6379 -c 100 -n 100000	'//压测ip地址192.168.73.200，端口为6379，并发量100，请求量100000个'
...省略内容
'//截取部分典型的结果展示'
====== SET ======	'//写入速度'
  100000 requests completed in 1.32 seconds	'//耗费1.32秒'
  100 parallel clients
  3 bytes payload
  keep alive: 1
====== GET ======	'//读取速度'
  100000 requests completed in 1.02 seconds	'//耗费1.02秒'
  100 parallel clients
  3 bytes payload
  keep alive: 1
...省略内容
'//压测结果想要标准，需要多压测几次，取平均值即可'
[root@redis utils]# redis-benchmark -h 192.168.73.200 -p 6379 -q -d 100	'//压测IP地址为192.168.73.200，端口为6379，-q：强制退出redis，-d：指定字节数量'
'//以字节形式指定set/get值的数据大小，同样仅展示部分结果'
    ...省略内容
SET: 53248.14 requests per second
GET: 46253.47 requests per second
...省略内容

redis数据库基础操作命令

'//Redis的5种数据结构：string、list、hash、set和zset'
'//可以使用help string/list/hash/set/zset来查询命令帮助，命令可以使用tab键补全'
例如：
[root@redis utils]# redis-cli -h 192.168.73.200 -p 6379
192.168.73.200:6379> help set	'//查看set命令帮助'

  SET key value [expiration EX seconds|PX milliseconds] [NX|XX]	'//set命令的格式'
  summary: Set the string value of a key
  since: 1.0.0
  group: string
192.168.73.200:6379> set username abc	'//创建键（username）值（abc）'
OK
192.168.73.200:6379> set user abc	'//创建键（user）值（abc）'
OK
192.168.73.200:6379> KEYS *		'//查看所有键'
1) "username"
2) "user"
192.168.73.200:6379> keys u???	'//查看u开头且占4个字节的key'
1) "user"
192.168.73.200:6379> get user	'//查看user键的值'
"abc"
192.168.73.200:6379> EXISTS user	'//查看user是否存在'
(integer) 1
192.168.73.200:6379> del user	'//删除user键'
(integer) 1
192.168.73.200:6379> keys *
1) "username"	'//删除成功'
192.168.73.200:6379> rename username uuu	'//将username键重命名为uuu'
OK
192.168.73.200:6379> keys *
1) "uuu"	'//重命名成功'
192.168.73.200:6379> exit

移动键值到其他库（一共16个库）

[root@redis utils]# redis-cli -h 192.168.73.200 -p 6379	'//连接数据库'
192.168.73.200:6379> keys *	'//默认进入第一个库0'
1) "key:__rand_int__"
2) "myset:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "uuu"
192.168.73.200:6379> select 11	'//进入第12个库'
OK
192.168.73.200:6379[11]> keys *	'//查看所有键'
(empty list or set)
192.168.73.200:6379[11]> select 0	'//返回第一个库'
OK
192.168.73.200:6379> move uuu 11	'//将uuu键值对移动到第12个库'
(integer) 1
192.168.73.200:6379> select 11	'//进入第12个库'
OK
192.168.73.200:6379[11]> keys *	'//查看所有键'
1) "uuu"
192.168.73.200:6379[11]> get uuu	'//查看键值'
"ab"
192.168.73.200:6379[11]> flushdb	'//清空库'
OK
192.168.73.200:6379[11]> keys *
(empty list or set)
192.168.73.200:6379[11]> exit	'//退出'

5.redis服务优化

5.1redis的持久优化

redis是运行在内存中，内存中的数据断电丢失
为了能够重复使用redis的数据（像MySQL数据库一样重复使用数据），我们就需要将redis的数据保存到硬盘上面，也就是持久化

持久化的分类：

RDB：创建快照的方式获取某一时刻Redis中所有数据的副本

AOF：将执行的写命令写到文件的末尾，以日志的方式来记录数据的变化

5.1.1RDB持久化

是redis默认的持久化方式
默认文件名为dump.rdb

[root@redis utils]# cd /var/lib/redis/6379/
[root@redis 6379]# ls
dump.rdb

触发条件
- 在指定的时间间隔内，执行指定次数的写操作
- 执行save或者是bgsave（异步）命令
- 执行flushall命令，清空数据库所有信息
- 执行shutdown命令，保证服务器正常关闭且不丢失任何数据
优缺点
- 适合大规模数据恢复
- 如果业务对数据完整性一致性要求不高，RDB是个好选择
- 备份时占用内存
通过RDB文件恢复数据
- 将dump.rdb文件拷贝到redis的安装目录的bin目录下面，重启redis
配置RDB持久化

[root@redis 6379]# vim /etc/redis/6379.conf 	'//修改配置文件'
    '//搜索save，找到如下'
save 900 1	'//900秒之内至少一次写操作'
save 300 10	'//300秒内至少10次写操作'
save 60 10000	'//60秒内至少10000次写操作'
'//只要满足其一都会触发快照操作，注释所有的save项表示关闭RDB'
dbfilename dump.rdb	'//RDB文件名称'
dir /var/lib/redis/6379	'//RDB文件路径'
rdbcompression yes	'//开启了压缩功能'

5.1.2AOF持久化

redis默认不开启
弥补RDB的不足（数据的不一致性）
采用日志的形式来记录每个写操作，并追加到文件中
redis重启会根据日志文件的内容之灵从签到后执行一遍实现数据的恢复工作

根据AOF文件恢复数据

将appendonly.aof文件拷贝到redis目录的bin目录下面，重启redis服务

配置AOF持久化

[root@redis 6379]# vim /etc/redis/6379.conf 
appendonly no	'//修改为yes即可开启AOF持久化'
appendfilename "appendonly.aof"	'//AOF文件名称'
# appendfsync always	'//always:同步持久化，每次发生数据变化会立刻写入磁盘'
appendfsync everysec	'//everysec:默认推荐，每秒异步记录次(默认值)'
# appendfsync no	'//no:不同步，交给操作系统决定如何同步'
'//取消注释的时候注意前方空格，一定要删掉'
aof-load-truncated yes	'//忽略最后一条可能存在问题的指令'

AOF重写机制
- AOF工作原理是将写操作追加到文件中，文件的冗余内容越来越多
- 当AOF文件大小超过设定的阈值时，redis就会对AOF文件的内容压缩
原理
- redis会fork出一条新的进程，读取内存中的数据（并没有读取旧文件），并重写到一个临时文件中，最后替换旧的AOF文件

配置AOF重写

[root@redis 6379]# vim /etc/redis/6379.conf 
no-appendfsync-on-rewrite no	'//在日志进行BGREWRITEAOF时， 如果设置为yes表示新写操作不进行同步fsync,只暂存在缓冲区里，避免造成磁盘I0操作冲突，等重写完成后在写入。redis中默认为no'
auto-aof-rewrite-percentage 100	'//当前AOF文件大小是上次日志重写时AOF文件大小两倍时，发生BGREWRITEAOF操作'
auto-aof-rewrite-min-size 64mb	'//当前AOF文件执行BGREWRITEAOF命令的最小值，避免刚开始启动Reids时由于文件尺寸较小导致频繁的BGREWRITEAOF.当AOF文件到达64M的时候，发生BGREWRITEAOF操作'

redis性能管理

'//查看Redis内存使用'
[root@redis 6379]# /usr/local/redis/bin/redis-cli 
127.0.0.1:6379> INFO memory
...省略内容

内存碎片率
- 操作系统分配的内存值 used_ memory _rss除以redis使用的内存值
- used_ _memory计算得出
- 内存碎片是由操作系统低效的分配/回收物理内存导致的
- 不连续的物理内存分配
- 跟踪内存碎片率对理解redis实例的资源性能是非常重要的
- 内存碎片率稍大于1是合理的，这个值表示内存碎片率比较低
- 内存碎片率超过1.5,说明redis消耗了实际需要物理内存的150%，其中50%是内存碎片率
- 内存碎片率低于1的，说明Redis内存分配超出了物理内存,操作系统正在进行内存交换
内存使用率
- redis实例的内存使用率超过可用最大内存，操作系统将开始进行
- 内存与swap空间交换
- 避免内存交换
- 针对缓存数据大小选择
- 尽可能的使用Hash数据结构
- 设置key的过期时间
回收key
- 保证合理分配redis有限的内存资源
- 当内存使用达到设置的最大阀值时，需要选择一种key的回收策略
- 默认情况下回收策略是禁止删除
- redis.conf配置文件中修改maxmemory-policy属性值
- volatile-lru:使用LRU算法从已设置过期时间的数据集合中淘汰数据
- volatile-ttl:从已设置过期时间的数据集合中挑选即将过期的数据淘汰（建议使用）
- volatile-random:从已设置过期时间的数据集合中随机挑选数据淘汰
- allkeys-lru:使用LRU算法从所有数据集合中淘汰数据
- allkeys-random:从数据集合中任意选择数据淘汰

double_happy111

发布了129 篇原创文章 · 获赞 47 · 访问量 1万+

私信关注