Nosql——Redis配置与优化

一.数据库及数据分类

1.存储数据类型

结构化数据：可以通过二维表格形式表达这个数据
非结构化数据：不方便以二维表的形式表达这种类型的数据

2.根据不同种存储数据类型分类分成两种不同的数据库

结构化数据库（sql）：里面存储的数据类型是结构化数据。（关系型数据库）
非结构化数据库（nosql）：里面存储的数据类型是非结构化数据。（非关系型数据库）

3.数据库种类

关系型数据库：Oracle、Mysql、SQLServer、MicrosoftAccess、DB2等
非关系型数据库：Redis、MoryDB、Hbase、CouhDB等

二.非关系型数据库产生的背景

High performance——对数据库高并发读写需求
High storage——对海量数据高效存储与访问的需求
High scalability && High Availability——对数据库高扩展性与高可用性需求

三.Redis简介

1.Redis基于内存运行并支持持久化

2.采用key-value(键值对)的存储形式

3.优点

具有极高的数据读写速度
支持丰富的数据类型
支持数据的持久化
原子性
支持数据备份

4.五种数据类型

string（字符串）
hash（哈希）
list（列表）
set（集合）
zset （sorted set：有序集合）

（1）strry

1.是redis最基本类型 ，二进制安全的，最大存储512M。
实例：  set键  设置键值对          get键   获取键值对
 Set string1   8
 Get string1
 8
 Incr string1    //自增
 9
 Decr string1    //自减
 8
 Decrby string1 2   //设置减少值
 6
 Incrby string1 5     //设置增加值
 11

（2）Hash

1. 一个键值对集合（key=>value）
2.是一个string类型的filed和value的映射表
3.特别适合用于存储对象
实例：
hset hash1 key1 a	#hset添加hash数据
hset hash1 key2 b
hset hash1 key3 c
hset hash1 field1 a1 field2 a2
hget hash1 key1		//hget获取hash数据
hmget hash1 key1 key2 key3		//hmget获取多个hash数据
hmget hash1 filed1 filed2

（3）List

1. Redis列表是简单的字符串列表，按照插入顺序，可以添加一个元素到列表的头部（左边）或者尾部（右边）
实例：
Lpush：从左边推入值
Lpop：从左边弹出值
Rpush：从右边推入值
Rpop：从右边弹出值
Lien：查看某个list数据类型的长度
Lrange List1 列出所有List1的值（从0开始排）

（4）set

Redis的set是string类型的无序集合
集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是O（1）
实例：
sadd set1 12	#sadd key member添加一个string元素到key对应的set集合中，成功返回1，如果元素已经在集合中返回0
1
sadd set1 13
1
sadd set1 12
0
scard set1		//scard查看set数据中存在的元素个数
2
sismember set1 11		//sismember判断set数据中是否     存在某个元素
0
sismember set1 13
1
srem set1 13		//srem删除某个set数据中的元素
1
sismember set1 13
0
smember set1      //列出所有set1的值 

（5）zset

1.Redis zset和set一样也是string类型元素的集合，且不允许重复的值
2.不同的是每个元素都会关联一个double类型的分数，redis正是通过分数来为集合中的成员进行从小到大的排序
3.zset的成员是唯一的，但分数（score）却可以重复
实例：
zadd zset1 1.1 val1		//zadd key score member天啊及    元素到集合，元素在集合中存在则更新对应score
zadd zset1 2.2 val2
zcard		#查询
zrang			#数据排序

四.redis配置

1.安装部署

# 安装必要安装包
yum install gcc gcc-c++ -y 
# 挂载必要软件包
mount.cifs //192.168.100.3/mem /mnt
#解压安装包
cd /mnt
tar zxvf redis-5.0.7.tar.gz -C /opt
# 编译安装
cd /opt/redis-5.0.7/
make
make PREFIX=/usr/local/redis/ install
#进入util目录，执行脚本
cd utils/
./install_server.sh
# 执行后一路回车在这里添加/usr/local/redis/bin/redis-    server一句
Please select the redis executable path [ ]     /usr/local/redis/bin/redis-server

# 创建命令连接
ln -s /usr/local/redis/bin/* /usr/local/bin 

netstat -ntap | grep 6379    //查看服务是否开启
#使用/etc/init.d/redis_6379可以控制服务的开启和关闭
/etc/init.d/redis_6379 stop //停止服务
/etc/init.d/redis_6379 start //启动服务

2.配置文件

配置参数

bind：监听的主机地址
port： 端口
daemonize yes：启用守护进程
pidfile：指定PID文件
loglevel notice：日志级别
logfile：指定日志文件

3.Redis数据库常用命令

Redis-cil命令行工具

1.连接本地数据库
  redis-cil
2.连接远程数据库
   redis-cil -h 192.168.45.131 -p 6379
3.获取命令帮助
   127.0.0.1:6379> help @list
   127.0.0.1:6379> help set
4.set：存放数据
   127.0.0.1:6379> set teacher lisi
5.get：获取数据
   127.0.0.1:6379> get teacher

key相关命令

1.keys：获取符合规则的键值列表
  127.0.0.1:6379> keys *           //查看当前数据库中所有的键
  127.0.0.1:6379> keys v*          //查看当前数据库中以v开头的键
  127.0.0.1:6379> keys v？          //查看当前数据库中以v开头后面包含任意一个字符的键
  127.0.0.1:6379> keys v？？         //看当前数据库中以v开头后面包含任意二个字符的键

2.exists：判断键值是否存在
 127.0.0.1:6379> exists teacher
 127.0.0.1:6379> exists tes

3.del：删除当前数据库的指定key
127.0.0.1:6379> del teacher

4.type：获取key对应的value值类型
5.rename（覆盖）/renamenx（不覆盖）：对已有的key进行重命名
  127.0.0.1:6379> rename teacher tea

6.dbsize：查看当前数据库中key的数目
  127.0.0.1:6379> dbsize

4.redis-benchmark测试工具

-h：指定服务器主机
-p：指定服务器端口
-c：指定并发连接数
-n：指定请求书
-d：以字节的形式指定SET/GET值的数据大小
-q：强制退出redis。仅显示query/sec值

向IP地址192.168.45.131.端口为6379的redis服务器发送100个并发连接与100000个请求测试性能

redis-benchmark -h 192.168.45.131 -p 6379 -c 100 -n 100000

测试存取大小为100字节的数据包的性能

redis-benchmark -h 192.168.45.131 -p 6379 -q -d 100

五.Redis多数据库操作

Redis支持多数据库，默认支持16个数据库，0-15命名
多个数据库相互独立，互不干扰

1.多数据库常用命令

多数据库间切换

127.0.0.1:6379> select 10 //默认在第一个数据库中
OK
127.0.0.1:6379[10]> select 15
OK
127.0.0.1:6379[15]>  

多数据库间移动数据

127.0.0.1:6379[15]> move k1 3   //将k1键移动到数据库3中 

清除数据库内数据

127.0.0.1:6379> flushdb
127.0.0.1:6379> flushall     //慎用，清除所有数据库数据

六.Redis持久化

1.持久化概述

1.Redis是运行在内存中，内存中的数据断电丢失
2.为了能够重用Redis数据，或者放置系统故障，我们需要将Redis中的数据写入到磁盘空间中，即持久化

2.持久化分类

RDB方式：创建快照的方式获取某一时刻Redis中所有数据的副本
AOF方式：将执行的写入命令写到文件的末尾，以日志的方式来记录数据的变化

（1）RDB持久化

Redis的默认持久化方式
默认文件名dump.rdb

触发条件

在指定的时间间隔内，执行指定次数的写操作（配置文件控制）
执行save或者是bgsave（异步）命令
执行flushall命令，清空数据库所有数据
执行shutdown命令，保证服务器正常关闭且不丢失任何数据

优缺点

适合大规模的数据恢复
如果业务对数据的完整性和一致性要求不高，RDB是很好的选择
数据的完整性和一致性不高
备份是占用内存

通过RDB文件恢复数据

将dump.rdb文件拷贝到redis的安装目录的bin目录下，重启redis服务即可

配置文件选项

vim /etc/redis/6379.conf
save 900 1     //900秒之内至少一次写操作
save 300 10      //300秒之内至少发生10次写操作
save 60 10000      //60秒之内发生至少10000 写操作，只要满足其一都会触发  快照操作，注释所有的save项表示关闭RDB
dbfilename dump.rdb            //RDB文件名称
dir /var/lib/redis/6379        //RDB文件路径
rdbcompression yes          //是否进行压缩

（2）AOF持久化

Redis默认不开启
弥补RDB的不足（数据的不一致性）
采用日志的形式来记录每个写操作，并追加到文件中
Redis重启会根据日志文件的内容将写入指令从前到后执行一次以完成数据的恢复工作

根据AOF文件恢复数据

 将appendonly.aof文件拷贝到redis的安装目录的bin目录下，重启redis服务即可

配置文件选项

vim /etc/redis/6379.conf
appendonly yes            //开启AOF持久化
appendfilename “appendonly.aof”              //AOF文件名称
# appendfsync always   //同步持久化，每次发生数据变化会立即写入磁盘
appendfsync everysec    //默认推荐，每秒异步记录一次（默认值）
# appendfsync no          //不同步，交给操作系统决定如何同步
aof-load-truncated yes      //忽略最后一条可能存在的问题的指令

AOF的重写机制

AOF的工作原理是将写操作追加到文件中，文件的冗余内容会越来越多
当AOF 文件的大小超过所设定的阈值时，Redis就会服AOF文件的内 容压缩

AOF重写的原理

Redis会fork除一条新进程，读取内存中的数据（并没有读取旧文件），并重写到一个临时文件夹中，最后替换旧的aof文件

AOF 重写配置

vim /etc/redis/6379.conf
# 在日志进行BGPWRITEAOF时，如果设置为yes表示新写入操作不进行同步fsync，只是暂存在缓存区里，避免造成磁盘IO操作冲突，等重写完成后在写入。redis中默认为no
no-appendfsunc-on-rewrite no

# 当前AOF文件大小是上次日志重写时AOF文件大小两倍时，发生    BGPEWRITEAOF操作
auto-aof-rewrite-percentage 100

# 当前AOF文件执行BGPEWRITEAOF命令的最小值，避免刚开始启动Redis时由于文件尺寸较小导致频繁的BGPEWRITEAOF
auto-aof-rewrite-min-size 64mb

七.Redis性能管理

1.查看redis内存使用

redis-cil
127.0.0.1:6379> info memory
used-memory:2650536
used-memory-human： 2.53M        //内存使用量

mem_fragmentation_ratio：4.57         //内存碎片

2.内存碎片率

操作系统分配的内存值used_memory_rss除以redis使用的内存值used_memory计算得出

内存碎片是由操作系统低效的分配/回收物理内存导致的

不连续的物理内存分配

跟踪内存碎片率对理解redis示例的资源性能是非常重要的

内存碎片率稍大于1是合理的，这个值表示内存碎片率比较低
内存碎片率超过1.5，说明redis消耗了实际需要物理内存的150%，其中的50%是内存碎片率
内存碎片率低于1的，说明Redis内存分配超出物理内存，操作系统正在进行内存交换

3.内存使用率

redis实例的内存使用率超过可用最大内存，操作系统将开始进行内存与swap空间交换

避免内存交换

针对缓存数据大小选择
尽可能的使用Hash数据结构
设置key的过期时间

4.回收key

保证合理分配的redis有显示的内存资源

当内存使用达到设置的最大阈值时，需要选择一种key的回收策略

默认情况下回收策略是禁止删除
redis.com配置文件中修改maxmemory-policy属性值

-volatile-lru：使用LRUS算法从已设置过期时间的数据集合中淘汰数据
-volatile-ttl：从已设置过期时间的数据集合中挑选即将过期的数据淘汰
-volatile-random：从已设置过期时间的数据集合中随机挑选数据淘汰
-alikeys-lru：使用LRU算法从所有数据集合中淘汰数据
-alikeys-random：从数据集合中任意选择数据淘汰
-no-enviction：禁止淘汰数据