NoSQL 之 redis配置与优化

一、关系型数据库和非关系型数据库

2.1 关系型数据库

• 一个结构化的数据库，创建在关系模型基础上
• 一般面向于记录，主要包括
  Oracle、MySQL、SQL Server、MIicrosoft Access、DB2等

2.2 非关系型数据库

• 除了主流的关系型数据库外的数据库，都认为是非关系型数据库
• 主要包括 Redis、MongBD、Hbase、CouhDB
• 非关系型数据库产生背景
  High performance————对数据库高并发读写需求
  Huge Storage————对海量数据搞笑存储与访问需求
  High Scalability && High Availability————对数据库高可扩展性与高可用需求

二、Redis简介与安装

2.1 Redis简介

• Redis基于内存运行并支持持久化
• 采用key-value（键值对）的存储形式
• 优点
  具有极高的数据读写速度
  支持丰富的数据类型
  支持数据的持久化
  原子性
  支持数据备份

2.2 Redis安装部署

[root@localhost ~]# yum install gcc gcc-c++ -y
准备安装包
redis-5.0.7.tar.gz 
[root@localhost ~]# tar zxvf redis-5.0.7.tar.gz -C /opt/
[root@localhost ~]# cd /opt/redis-5.0.7/
[root@localhost ~]# make
[root@localhost redis-5.0.7]# make PREFIX=/usr/local/redis install
[root@localhost redis-5.0.7]# ln -s /usr/local/redis/bin/* /usr/local/bin/   ## 建立软连接让系统能识别redis命令
[root@localhost redis-5.0.7]# cd /opt/redis-5.0.7/utils/
[root@localhost utils]# ./install_server.sh
………………一直回车
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
[root@localhost utils]# netstat -lnupt | grep redis
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      18495/redis-server  

[root@localhost ~]# /etc/init.d/redis_6379 stop   ## 停止
Stopping ...
Redis stopped
[root@localhost ~]# /etc/init.d/redis_6379 start  ## 开启  
Starting Redis server...
[root@localhost ~]# /etc/init.d/redis_6379 restart  ## 重启  

[root@localhost ~]# /etc/init.d/redis_6379 status  ## 查看状态

2.3 Redis的配置文件修改

 [root@localhost ~]# vim /etc/redis/6379.conf 
   bind 127.0.0.1 192.168.233.127    ## 70行   添加本机的IP地址
   port 6379  ##93   端口号6379
   daemonize yes     ## 137   开启守护进程
   pidfile /var/run/redis_6379.pid      ##  159 指定PID文件
   loglevel notice        ## 167    日志级别
    logfile /var/log/redis_6379.log   ## 172   指定日志文件   

三、Redis数据库常用命令

3.1 连接数据库

• 连接本地数据库

[root@localhost ~]# /usr/local/redis/bin/redis-cli 
127.0.0.1:6379> 

• 连接远程数据库

[root@localhost ~]# /usr/local/redis/bin/redis-cli  -h 192.168.233.127 -p 6379
192.168.233.127:6379> 

3.2 获取帮助命令

help @<group>:  获取<group>中的命令列表
help <command>:  获取某个命令的帮助
help <tab> : 获取可能帮助的主题列表
127.0.0.1:6379> help set

  SET key value [expiration EX seconds|PX milliseconds] [NX|XX]
  summary: Set the string value of a key
  since: 1.0.0
  group: string

127.0.0.1:6379> help @list

  BLPOP key [key ...] timeout
  summary: Remove and get the first element in a list, or block until one is available
  since: 2.0.0

  BRPOP key [key ...] timeout
  summary: Remove and get the last element in a list, or block until one is available
  since: 2.0.0

  BRPOPLPUSH source destination timeout
  summary: Pop a value from a list, push it to another list and return it; or block until one is available
  since: 2.2.0

3.3 存放 获取数据

• get 获取数据
• set 存放数据

127.0.0.1:6379> set name zhangsan
OK
127.0.0.1:6379> get name
"zhangsan"

3.4 key 相关命令

语句	作用
keys	获取符合规则的兼职
exists	判断键值是否存在
del	删除当前数据库的指定key
type	获取key对应的value值类型
rename（覆盖）/renamex（不覆盖）	对已有的key进行重命名
dbsize	查看当前数据库中key的数目

3.5 redis-benchmark

• 基本的测试语法为 redis-benchmark [option] [option value]

-h:指定服务器主机
-p:指定服务器端口
-s:指定服务器 socket
-c：指定并发连接数
-n: 指定请求数
-d：以字节的形式指定SET/GET 值的数据大小
-k： 1=keep  alive   0=reconnect
-r： SET/GET/INCR  使用随机key ，SADD使用随机值
-q： 强制退出 Redis  仅显示query/sec值

[root@localhost ~]# redis-benchmark -h 192.168.233.127 -p 6379 -c 100 -n 100000 -q
## 向IP地址为192.168.233.127 端口为6379 的Redis服务器  发送100个并发连接与100000个请求测试性能  只显示query/sec值
[root@localhost ~]# redis-benchmark -h 192.168.233.127 -p 6379 -q -d 100
## 测试 存取大小为100字节的数据包的性能
[root@localhost ~]# redis-benchmark -h 192.168.233.127 -p 6379 -q -d 100

3.6 redis 多数据库操作

• Redis 支持多数数据库，数据支持16个数据库，0-15命令
• 多数据库相互独立，互不干扰
• 多数据库常用命令
  多数据库间切换
  多数据库移动数据
  清除数据库内数据

四、Redis持久化

4.1 持久化概述

• Redis 是运行在内存中，内存中的数据断电丢失
• 为了能够重用Redis数据，或者防止系统故障 ，需要将Redis中的数据写入到磁盘空间中，即持久化。

4.2 持久化分类

RDB方式： 创建快照的方式获取某一时刻Redis中所有数据的副本。
AOF方式：将执行的写命令写到文件的末尾，以日志的方式来记录数据的变化

4.3 RDB 持久化

• Redis 默认持久化方式 RDB
  默认文件名 dump.rdb ## /var/lib/log/redis/6379 下
  触发条件：
  再指定的时间间隔内，执行指定次数的写操作（配置文件控制）
  执行save或者是bgsave（异步）命令
  执行 flushall命令（慎用），清空数据库所有数据
  执行shutdown命令，保证服务器正常关闭且不丢失任何数据

• 优缺点

• 适合大规模的数据恢复

• 如果业务对数据完整性和一致性要求不高，RDB是很好的选择

• 数据的完整性和一致性不高

• 备份时占用内存

4.4 通过RDB文件恢复数据

• 将dump.rdb 文件拷贝到redis的安装目录的bin目录下 ，重启redis服务即可
• 配置文件选项

[root@localhost ~]# vim /etc/redis/6379.conf 
 219 save 900 1 
 220 save 300 10
 221 save 60 10000
  ## 900秒之内至少一次写操作、300秒之内至少发生10次写操作、60秒之内至少10000次写操作，只要满足其一都会触发快照操作，注释所有的save项表示关闭 RDB
 254 dbfilename dump.rdb  ## RDB文件名称
 264 dir /var/lib/redis/6379  ## RDB文件路径
 242 rdbcompression yes  ## 是否进行压缩

4.5 AOF 持久化

• AOF 持久化 默认不开启
• 弥补RDB的不足
• 采用日志的形式来记录每个操作，并追加到文件中
• Redis 重启会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

4.6 根据AOF 文件恢复数据

• 根据AOF文件恢复数据
  将appendonly.aof 文件拷贝到Redis的安装目录的bin目录下，重启Redis服务即可
  配置文件选项

[root@localhost ~]# vim /etc/redis/6379.conf
 700 appendonly yes      ##开启AOF持久化
 704 appendfilename "appendonly.aof"  ## AOF文件名称
 729 # appendfsync always  ## 同步持久化，每次发生数据变化会立刻写入磁盘
 730 appendfsync everysec  ## 默认推荐，每秒异步记录一次（默认值）
 731 # appendfsync no    ## 不同步  交给操作系统决定如何同步
 796 aof-load-truncated yes   ## 忽略最后一条可能存在问题的命令   例如执行到一半中断了的命令

4.7 AOF的重写机制与原理

AOF的重写机制

• AOF的工作原理是将写操作追加到文件中，文件的冗余内容会越来越多
• 当AOF文件的大小超过所设定的阈值时，Redis就会对AOF 文件的内容压缩
  AOF的重写原理
• Redis会fork出一条新进程，读取内存中的数据（并没有读取旧文件），并重新写到一个临时文件中，最后替换旧的aof文件

4.8 AOF的重写配置

vim /etc/redis/6379.conf
#在日志进行BGREWRITEAOF时，如果设置为yes表示新写操作不进
行同步fsync，只是暂存在缓冲区里，避免造成磁盘IO操作冲突，等重
写完成后在写入。Redis中默认为no
no-appendfsync-on-rewrite no
#当前AOF文件大小是上次日志重写时AOF文件大小两倍时，发生
BGREWRITEAOF操作
auto-aof-rewrite-percentage 100
#当前AOF文件执行BGREWRITEAOF命令的最小值，避免刚开始启动
Reids时由于文件尺寸较小导致频繁的BGREWRITEAOF
auto-aof-rewrite- -min-size 64mb

五、redis的性能管理

5.1 查看 Redis内存使用

[root@localhost ~]# /usr/local/redis/bin/redis-cli  -h 192.168.233.127 -p 6379
192.168.233.127:6379> info memory
used_memory:11767376     ## 内存使用总量
used_memory_human:11.22M
……………… 省略一部分
allocator_rss_ratio:1.58  ## 内存碎片率

5.2 内存碎片率

• 内存碎片率
  是操作系统分配的内存值used_memory_rss 除以Redis使用的内存值used_memory计算得出
• 内存碎片是由操作系统低效的分配/回收物理内存导致的
  不连续的物理内存分配
• 跟踪内存碎片率对理解Redis实例的资源性能是非常重要的
  内存碎片率稍大于1是合理的，这个值表示内存碎片率比较低
  内存碎片率超过1.5，说明Redis消耗了实际徐娅萍物理内存的150%，其中50%是内存碎片率
  内存碎片率低于1的，说明Redis内存分配超出了物理内存，操作系统正在进行内存交换
  内存碎片在1左右最好

5.3 内存使用率

redis实例的内存使用率超过可用最大内存，操作系统将开始进行内存与swap空间交换

扫描二维码关注公众号，回复： 11756794 查看本文章

• 避免内存交换
  针对缓存数据大小选择
  尽可能的使用Hash数据结构
  设置key的过期时间

5.4 回收key

• 保证合理分配redis有限的内存资源
• 当达到设置的最大阀值时，需选择- -种key的回收策略

默认情况下回收策略是禁止删除
redis.conf配置文件中修改 maxmemory-policy属性值
volatile-lru:使用LRU算法从已设置过期时间的数据集合中淘汰数据
volatile-ttl:从已设置过期时间的数据集合中挑选即将过期的数据淘汰
volatile-random; 从已设置过期时间的数据集合中随机挑选数据淘汰
allkeys-lru:使用L RU算法从所有数据集合中淘汰数据
allkeys-random:从数据集合中任意选择数据淘汰
no-enviction: 禁止淘汰数据