NoSQL之-----Readis部署与优化你学会了吗？

REmote DIctionary Server(Redis) 是一个由Salvatore
Sanfilippo写的key-value存储系统。

Redis是一个开源的使用ANSI
C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

它通常被称为数据结构服务器，因为值（value）可以是 字符串(String), 哈希(Hash), 列表(list), 集合(sets)
和 有序集合(sorted sets)等类型。

一：关系数据库和非关系数据库

1.1：关系性数据库

• 一个结构化的数据库，创建在关系模型基础上

• 一般面相于记录

• 包括：Oracle、MySQL、SQL Server、Microsoft Access、DB2

1.2：非关系型数据库

• 除了主流的关系型数据库外的数据库，都人为是非关系型

• 包括Redis、MongBD、CouhDB等

1.3：非关系型数据库产生的背景

• High performance-----对数据库高并发并发读写需求

• Huge Storage------------对海量数据库高效存储与访问需求

• High Scalability && High Availability------对数据库高可扩展性与高可用性需求

1.4：Redis简介

• Redis基于内存运行并并支持持久化【高热数据】

• 采用Key-value（键值对）的存储形式

• 优点：

• 具有极高的数据续写速度

• 支持丰富的数据类型

• 支持数据的持久化

• 原子性【不可分割】

• 支持数据备份

二：Redis安装部署

2.1：操作步骤

2.2：安装必要的环境组件，并安装redis

[root@tom03 ~]# iptables -F
[root@tom03 ~]# setenforce 0
[root@tom03 ~]# yum install gcc gcc-c++ -y

//解压到opt
[root@tom03 ~]# tar zxvf redis-5.0.7.tar.gz -C /opt
[root@tom03 ~]# cd /opt
[root@tom03 opt]# cd redis-5.0.7/

//直接编译
[root@tom03 redis-5.0.7]# make
[root@tom03 redis-5.0.7]# make PREFIX=/usr/local/redis install

//命令便于系统所识别
[root@tom03 redis-5.0.7]# ln -s /usr/local/redis/bin/* /usr/local/bin

2.3：执行配置Redis配置文件脚本，并进行配置

[root@tom03 utils]# pwd
/opt/redis-5.0.7/utils
[root@tom03 utils]# ./install_server.sh 
//下面都直接回车就行
Welcome to the redis service installer
This script will help you easily set up a running redis server

Please select the redis port for this instance: [6379]   ##默认端口
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf]   ##配置文件
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log]   ##日志文件
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379]   ##数据文件
Selected default - /var/lib/redis/6379
Please select the redis executable path [] /usr/local/redis/bin/redis-server

Selected config:
Port           : 6379
Config file    : /etc/redis/6379.conf            //配置文件路径
Log file       : /var/log/redis_6379.log         //日志文件路径
Data dir       : /var/lib/redis/6379             //数据文件路径
Executable     : /usr/local/bin/redis-server     //可执行文件路径
Cli Executable : /usr/local/bin/redis-cli        //客户端命令工具

//查看端口
[root@tom03 utils]# netstat -luntp | grep redis
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      88573/redis-server  
//关闭服务
[root@tom03 utils]# /etc/init.d/redis_6379 stop
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
//开启服务
[root@tom03 utils]# /etc/init.d/redis_6379 start
Starting Redis server...
[root@tom03 utils]# netstat -luntp | grep redis
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      89335/redis-server 

2.4：Redis配置文件

配置参数(/etc/redis/6379.conf)

• bind:监听的主机地址

• port:端口

• daemonize yes:启用守护进程

• pidfile:指定PID文件

• loglevel notice:国志级别

• logfile:指定日志文件

2.5：redis-cil命令工具

• 连接数据库

[root@tom03 utils]# /usr/local/redis/bin/redis-cli
127.0.0.1:6379> quit    退出
[root@tom03 utils]# 

• 连接远程数据库

//连接本地数据库
[root@tom03 utils]# redis-cli -h 20.0.0.43 -p 6379
Could not connect to Redis at 20.0.0.43:6379: Connection refused    //显示没有权限

//进行设置
[root@tom03 utils]# vim /etc/redis/6379.conf      //配置主配置文件
bind 127.0.0.1 20.0.0.43     //设置监听地址
//重启一下服务
[root@tom03 utils]# /etc/init.d/redis_6379 restart
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
Starting Redis server...
[root@tom03 utils]# redis-cli -h 20.0.0.43 -p 6379    //再次登录可以进来了 
20.0.0.43:6379> 

获取命令帮助

• help @ :获取中的命令列表

• help :获取某个命令的帮助

• help:获取可能帮助的主题列表

20.0.0.43:6379> help set

  SET key value [expiration EX seconds|PX milliseconds] [NX|XX]
  summary: Set the string value of a key
  since: 1.0.0
  group: string

2.6：redis-cli命令行工具与Key相关命令

set：存放数据

get：获取数据

key相关命令

keys:获取符合规则的键值列表

exists:判断键值是否存在

del:删除当前数据库的指定key

type:获取key对应的value值类型

rename(覆盖)/ renamenx(不覆盖):对已有的key进行
重命名

dbsize:查看当前数据库中key的数目

• 示例

20.0.0.43:6379> set teacher zhangsan     //设置键值对
OK
20.0.0.43:6379> set tea red
OK
20.0.0.43:6379> key *                   //查看所有的键
1) "tea"
2) "teacher"
20.0.0.43:6379> keys t??                //查看键是t开头后面连个字符的
1) "tea"
20.0.0.43:6379> get tea                 //查看键的值
"red"
20.0.0.43:6379> exists  tea             //查看键是否存在
(integer) 1
//返回值操作不成功是0 操作值成功返回的是非0值

20.0.0.43:6379> del teacher           //删除键
(integer) 1
20.0.0.43:6379> keys *
1) "tea"
20.0.0.43:6379> type tea             //查看键的类型
string
20.0.0.43:6379> rename tea shuai       //给键重命令
OK
20.0.0.43:6379> get shuai
"red"
20.0.0.43:6379> keys *                //已经改名
1) "shuai"
20.0.0.43:6379> exit                  //退出
[root@tom03 utils]# 

2.7：redis-benchmark测试工具

-h:指定服务器主机名
-p:指定服务器端口
-c:指定并发连接数
-n:指定请求数
-d:以字节的形式指定SET/GET值的数据大小
-q∶强制退出Redis，仅显示query/sec值

• 向IP地址为20.0.0.43 端口为6379的Redis服务器

发送100个并发连接与100000个请求测试性能

[root@tom03 utils]# /usr/local/redis/bin/redis-benchmark -h 20.0.0.43 -p 6379 -c 100 -n 100000

====== SET ======
  100000 requests completed in 0.82 seconds
  100 parallel clients
  3 bytes payload
  keep alive: 1

98.11% <= 1 milliseconds
99.89% <= 2 milliseconds
99.96% <= 3 milliseconds
100.00% <= 3 milliseconds
121359.23 requests per second

====== GET ======
  100000 requests completed in 0.81 seconds
  100 parallel clients
  3 bytes payload
  keep alive: 1

98.24% <= 1 milliseconds
99.80% <= 2 milliseconds
99.94% <= 3 milliseconds
99.98% <= 4 milliseconds
100.00% <= 4 milliseconds
122850.12 requests per second

• 测试存取大小为100字节的数据包的性能

[root@tom03 utils]# /usr/local/redis/bin/redis-benchmark -h 20.0.0.43 -p 6379 -q -d 100

SET: 130890.05 requests per second
GET: 126422.25 requests per second

2.8：Redis多数据库操作

• Redis支持多数据库，默认支持16个数据库，0-15命令

• 多数据库相对独立，互相不干扰

• 多数据库常用命令

• 多数据库间切换

• 多数据库间移动数据

• 清除数据库内数据

[root@tom03 utils]# redis-cli -h 20.0.0.43 -p 6379   //进入Redis

20.0.0.43:6379> select 10               //进入第10个库
OK
20.0.0.43:6379[10]> keys 10             //里面空的
(empty list or set)
20.0.0.43:6379[10]> set name zhangsan    //设置键值对
OK
20.0.0.43:6379[10]> keys *               //查看键
1) "name" 
20.0.0.43:6379[10]> get name             //查看键的值
"zhangsan"
20.0.0.43:6379[10]> select 3            //进入第3个库
OK
20.0.0.43:6379[3]> keys *
(empty list or set)
20.0.0.43:6379[3]> select 10
OK
20.0.0.43:6379[10]> keys *
1) "name"
20.0.0.43:6379[10]> move name 3           //移动键值到第11个库
(integer) 1
20.0.0.43:6379[10]> keys *
(empty list or set)
20.0.0.43:6379[10]> select 3              //进入第3个库
OK
20.0.0.43:6379[3]> keys *                 //查看键值
1) "name"
20.0.0.43:6379[3]> get name
"zhangsan"

20.0.0.43:6379[3]> select 0
OK
20.0.0.43:6379> keys *                   //查看所有的键
1) "myset:__rand_int__"
2) "mylist"
3) "shuai"
4) "key:__rand_int__"
5) "counter:__rand_int__"

2.9：设置hash结构

存储具体的某一个结构

                   对象名  对象属性名  值
20.0.0.43:6379> hset student name shuai
(integer) 1
20.0.0.43:6379> hset student age 20
(integer) 1
20.0.0.43:6379> hset student score 89
(integer) 1
20.0.0.43:6379> keys *
1) "shuai"

20.0.0.43:6379> hget student name
"shuai"
20.0.0.43:6379> hget student age
"20"
20.0.0.43:6379> hget student score
"89"

三：Redis持久化

3.1：持久化概述

Redis是运行在内存中，内存中的数据断电丢失
为了能后重用Redis数据，或者防止系统故障，我们需要将Redis中的数据写入到磁盘空间中，即持久化

3.2：持久化分类

RDB方式：创建快照的方式获取某一时刻Redis中所有数据的副本

AOF方式：将执行的写命令写到文件的末尾，以日志的方式来记录数据的变化

3.3：RDB持久化

• RDB持久化

• Redis的默认持久化方式

• 默认文件名dump.rdb 【/var/lib/redis/6379】

3.31：触发条件：

在指定的时间间隔内，执行指定次数的写操作（配置文件控制）

执行save或者是bgsave（异步）命令

执行flushall命令，清空数据库所有数据

执行shutdown命令，保证服务器正常关闭且不丢失任

3.32：RDB优缺点

适合大规模的数据恢复

如果业务对数据完整性和一致性要求不高，RDB是很好的选择

数据的完整性和一致性不高

备份时占用内存

3.33：通过RDB文件恢复数据

• 将dump.rdb文件拷贝到redis的安装目录的bin目录下，重启redis服务即可

• 配置RDB持久化

[root@localhost utils]# vim /etc/redis/6379.conf 

#900秒之内至少一次写操作
save 900 1

#300秒之内至少发生10次写操作
save 300 10

#60秒之内发生至少10000次写操作
save 60 10000

#只要满足其一都会触发快照操作，注释所有的save项表示关闭RDB

#RDB文件名称
dbfilename dump.rdb

#RDB文件路径
dir /var/lib/redis/6379

#开启压缩功能
rdbcompression yes

3.4：AOF持久化

• Redis默认不开启

• 弥补EDB的不足（数据的不一致性）

• 采用日志的形式来记录每个写的操作，并追加到文件中

• Redis重启会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

3.41：根据AOF文件恢复数据

• 将appendonly.aof文件拷贝到Redis的安装目录的bin目录下，重启Redis服务即可

• 配置文件选项

[root@localhost utils]# vim /etc/redis/6379.conf 

#开启AOF持久化
appendonly yes

#AOF文件名称
appendfilename "appendonly.aof"

#always:同步持久化，每次发生数据变化会立刻写入磁盘
# appendfsync always

#everysec:默认推荐，每秒异步记录次(默认值)
appendfsync everysec

#no:不同步，交给操作系统决定如何同步
# appendfsync no

#忽略最后一条可能存在问题的指令
aof-load-truncated yes

3.42：AOF的重写机制

AOF的工作原理是将写操作追加到文件中，文件的冗余内容会越来越多
当AOF文件的大小超过所设定的阀值时，Redis就会对AOF文件的内容压缩

3.43：AOF重写配置

Redis会fork出一条新进程，读取内存中的数据(并没有读取旧文件)，并重新写到一个临时文件中，最后替换旧的aof文件:

3.44：AOF重写配置

[root@localhost utils]# vim /etc/redis/6379.conf 
#在日志进行BGREWRITEAOF时， 如果设置为yes表示新写操作不进行同步fsync,
#只暂存在缓冲区里，避免造成磁盘I0操作冲突，等重写完成后在写入。redis中默认为no
no-appendfsync-on-rewrite no

#当前AOF文件大小是上次日志重写时AOF文件大小两倍时，发生BGREWRITEAOF操作
auto-aof-rewrite-percentage 100

#当前AOF文件执行BGREWRITEAOF命令的最小值，
#避免刚开始启动Reids时由于文件尺寸较小导致频繁的BGREWRITEAOF
auto-aof-rewrite-min:-size 64mb

3.5：Redis性能管理

##查看redis内存使用
[root@localhost utils]# /usr/local/redis/bin/redis-cli
127.0.0.1:6379> info memo:ry

3.51：内存碎片率

●操系统分配的内存值used_ _memory_ _rss除以redis使用的内存值
used_ _memory计算得出
●内存碎片是由操作系统低效的分配/回收物理内存导致的
不连续的物理内存分配
●跟踪内存碎片率对理解redis实例的资源性能是非常重要的
内存碎片率稍大于1是合理的，这个值表示内存碎片率比较低
内存碎片率超过1.5,说明redis消耗了实际需要物理内存的150%，其中50%是内存碎片率
内存碎片率低于1的，说明Redis内存分配超出了物理内存,操作系统正:在进行内存交换

3.52：内存使用率

●redis实例的内存使用率超过可用最大内存，操作系统将开始进行
内存与swap空间交换
●避免内存交换
针对缓存数据大小选择
尽可能的使用Hash数据结构
设置key:的过期时间

3.53：回收key

●保证合理分配redis有限的内存资源
●当内存使用达到设置的最大阀值时，需要选择一种key的回收策略
默认情况下回收策略是禁止删除
redis.conf配置文件中修改maxmemory-policy属性值
- volatile-lru:使用LRU算法从已设置过期时间的数据集合中淘汰数据
- volatile-ttl:从已设置过期时间的数据集合中挑选即将过期的数据淘汰（建议使用）
- volatile-random:从已设置过期时间的数据集合中随机挑选数据淘汰
- allkeys-lru:使用LRU算法从所有数据集合中淘汰数据
- allkeys-random:从数据集合中任意选择数据淘汰
- no-enviction:禁止淘汰数据

感谢观看，不足之处多多指教