一、基本介绍
1、NoSql介绍
为了解决高并发、高可用、高可扩展,大数据存储等一系列问题而产生的数据库解决方案,就是NoSql。NoSql,叫非关系型数据库,它的全名Not only sql。它不能替代关系型数据库,只能作为关系型数据库的一个良好补充。关系型数据库中的表都是存储一些结构化的数据,每条记录的字段的组成都一样,即使不是每条记录都需要所有的字段,但数据库会为每条数据分配所有的字段。而非关系型数据库以键值对(key-value)存储,它的结构不固定,每一条记录可以有不一样的键,每条记录可以根据需要增加一些自己的键值对,这样就不会局限于固定的结构,可以减少一些时间和空间的开销。 其中Nosql数据库分类如下:
- 键值(Key-Value)存储数据库
相关产品: Tokyo Cabinet/Tyrant、Redis、Voldemort、Berkeley DB
典型应用: 内容缓存,主要用于处理大量数据的高访问负载。
数据模型: 一系列键值对
优势: 快速查询
劣势: 存储的数据缺少结构化
- 列存储数据库
相关产品:Cassandra, HBase, Riak
典型应用:分布式的文件系统
数据模型:以列簇式存储,将同一列数据存在一起
优势:查找速度快,可扩展性强,更容易进行分布式扩展
劣势:功能相对局限
- 文档型数据库
相关产品:CouchDB、MongoDB
典型应用:Web应用(与Key-Value类似,Value是结构化的)
数据模型: 一系列键值对
优势:数据结构要求不严格
劣势: 查询性能不高,而且缺乏统一的查询语法
- 图形(Graph)数据库
相关数据库:Neo4J、InfoGrid、Infinite Graph
典型应用:社交网络
数据模型:图结构
优势:利用图结构相关算法。
劣势:需要对整个图做计算才能得出结果,不容易做分布式的集群方案。
2、Redis介绍
1.基本说明
Redis是用C语言开发的一个开源的高性能键值对(key-value)数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求,目前为止Redis支持的键值数据类型如下:
- 字符串类型【String】
- 散列类型【map】
- 列表类型【list】
- 集合类型【set】
- 有序集合类型【sortedset】
2.历史发展
2008年,意大利的一家创业公司Merzia推出了一款基于MySQL的网站实时统计系统LLOOGG,然而没过多久该公司的创始人 Salvatore Sanfilippo便 对MySQL的性能感到失望,于是他决定亲自为LLOOGG量身定做一个数据库,并于2009年开发完成,这个数据库就是Redis。 不过Salvatore Sanfilippo并不满足只将Redis用于LLOOGG这一款产品,而是希望更多的人使用它,于是在同一年Salvatore Sanfilippo将Redis开源发布,并开始和Redis的另一名主要的代码贡献者Pieter Noordhuis一起继续着Redis的开发,直到今天。
Salvatore Sanfilippo自己也没有想到,短短的几年时间,Redis就拥有了庞大的用户群体。Hacker News在2012年发布了一份数据库的使用情况调查,结果显示有近12%的公司在使用Redis。国内如新浪微博、街旁网、知乎网,国外如GitHub、Stack Overflow、Flickr等都是Redis的用户。
VMware公司从2010年开始赞助Redis的开发, Salvatore Sanfilippo和Pieter Noordhuis也分别在3月和5月加入VMware,全职开发Redis。
3.应用场景
- 缓存(数据查询、短连接、新闻内容、商品内容等等)。(最多使用)
- 分布式集群架构中的session分离。
- 聊天室的在线好友列表。
- 任务队列。(秒杀、抢购、12306等等)
- 应用排行榜。
- 网站访问统计。
- 数据过期处理(可以精确到毫秒)
二、Redis的安装配置
Redis下载地址为:http://download.redis.io/releases/redis-3.0.0.tar.gz ;官网地址:http://redis.io/
1、redis的安装
1.本地安装
redis会安装到linux系统中,首先打开Linux系统,并将redis的压缩包上传到linux系统中。之后对redis的压缩包进行解压缩(可以参考Linux的软件安装),Redis解压缩之后的文件是用c语言写的源码文件,然后进入安装目录并编译redis源码:
之后安装redis,命令如下:
make install PREFIX=/opt/redis【opt目录下,redis(自己取名)】
然后进入该安装目录,查看是否安装成功
2.在线安装
配置编译环境:
sudo yum install gcc-c++
下载源码:
wget http://download.redis.io/releases/redis-4.0.9.tar.gz
解压源码:
tar -zxvf redis-4.0.9.tar.gz
进入到解压目录:
cd redis-4.0.9
执行make编译Redis:
make MALLOC=libc
注意:make命令执行完成编译后,会在src目录下生成6个可执行文件,分别是redis-server、redis-cli、redis-benchmark、redis-check-aof、redis-check-rdb、redis-sentinel。
安装Redis:
make install PREFIX=/usr/local/InstallationSoftware/redis
2、 redis的启动
1.前端启动
前端启动的命令为(首先进入bin目录):
启动界面如下 :
前端启动的关闭:
- 强制关闭:Ctrl+c
- 正常关闭:./redis-cli shutdown
前端启动的问题:一旦客户端关闭,则redis服务也停掉。
2.后端启动
首先需要将redis解压之后的源码包中的redis.conf文件拷贝到bin目录下:
然后使用vim修改redis.conf文件
将daemonize no改为daemonize yes
然后使用命令后端启动redis
看是否启动成功
关闭后端启动的方式为:
强制关闭:kill -9 7944
正常关闭:./redis-cli shutdown
注意:在项目中,建议使用正常关闭。因为redis作为缓存来使用的话,将数据存储到内存中,如果使用正常关闭,则会将内存数据持久化到本地之后,再关闭。如果是强制关闭,则不会进行持久化操作,可能会造成部分数据的丢失。
三、 redis.conf 的配置信息
daemonize:如果需要在后台运行,把该项改为yes pidfile:配置多个pid的地址 默认在/var/run/redis.pid bind:绑定ip,设置后只接受来自该ip的请求 port:监听端口,默认是6379 loglevel:分为4个等级:debug verbose notice warning logfile:用于配置log文件地址 databases:设置数据库个数,默认使用的数据库为0 save:设置redis进行数据库镜像的频率。 rdbcompression:在进行镜像备份时,是否进行压缩 dbfilename:镜像备份文件的文件名 Dir:数据库镜像备份的文件放置路径 Slaveof:设置数据库为其他数据库的从数据库 Masterauth:主数据库连接需要的密码验证 Requriepass:设置 登陆时需要使用密码 Maxclients:限制同时使用的客户数量 Maxmemory:设置redis能够使用的最大内存 Appendonly:开启append only模式 Appendfsync:设置对appendonly.aof文件同步的频率(对数据进行备份的第二种方式) vm-enabled:是否开启虚拟内存支持 (vm开头的参数都是配置虚拟内存的) vm-swap-file:设置虚拟内存的交换文件路径 vm-max-memory:设置redis使用的最大物理内存大小 vm-page-size:设置虚拟内存的页大小 vm-pages:设置交换文件的总的page数量 vm-max-threads:设置VM IO同时使用的线程数量 Glueoutputbuf:把小的输出缓存存放在一起 hash-max-zipmap-entries:设置hash的临界值 Activerehashing:重新hash |
四、Redis客户端
1、Redis自带的客户端
客户端启动命令为:
./redis-cli -h 127.0.0.1 -p 6379
说明:
-h:指定访问的redis服务器的ip地址
-p:指定访问的redis服务器的port端口
此外还可以写成:./redis-cli
使用默认配置:默认的ip【127.0.0.1】,默认的port【6379】
关闭方式为:Ctrl+c或者quit
2、图形界面客户端
为windows程序,如下:
安装后创建连接如下:
连接后如下:
默认一共是16个数据库,每个数据库之间是相互隔离。数据库的数量是在redis.conf中配置的。如下:
默认将数据存储到小标为0的数据库中。切换数据库使用命令:select 数据库编号
退出为:quit
附加:如果无法访问可能是Linux防火墙拦截了该端口,可以进行相关设置。解决办法如下:
第一步:编辑iptables
vim /etc/sysconfig/iptables
在命令模式下,选定要复制的那一行的末尾,然后点击键盘yyp,就完成复制,然后修改。
第二步:重启防火墙
[root@localhost-0723 redis-3.0.0]# service iptables restart
iptables:清除防火墙规则: [确定]
iptables:将链设置为政策 ACCEPT:filter [确定]
iptables:正在卸载模块: [确定]
iptables:应用防火墙规则: [确定]
[root@localhost-0723 redis-3.0.0]#
如果还是无法访问可能是开启了保护模式,进入redis.conf文件发现 bind 127.0.0.1配置,注释该配置,重启。如果还是连不上,在配置文件中开启密码认证
#requirepass foobared 【foobared为密码】
3、Java客户端Jedis
1.jedis介绍
Redis不仅是使用命令来操作,现在基本上主流的语言都有客户端支持,比如java、C、C#、C++、php、Node.js、Go等。在官方网站里列一些Java的客户端,有Jedis、Redisson、Jredis、JDBC-Redis、等其中官方推荐使用Jedis和Redisson。 在企业中用的最多的就是Jedis。 Jedis同样也是托管在github上,地址:https://github.com/xetorthio/jedis
2.使用举例
首先导入jar包如下:
1.单实例连接
测试如下:
@Test
public void testJedis() {
//创建一个Jedis的连接
Jedis jedis = new Jedis("172.25.0.163", 6379);
//执行redis命令
jedis.set("mytest", "hello world, this is jedis client!");
//从redis中取值
String result = jedis.get("mytest");
//打印结果
System.out.println(result);
//关闭连接
jedis.close();
}
2.连接池连接
测试如下:
@Test
public void testJedisPool() {
//创建一连接池对象
JedisPool jedisPool = new JedisPool("172.25.0.163", 6379);
//从连接池中获得连接
Jedis jedis = jedisPool.getResource();
String result = jedis.get("mytest");
System.out.println(result);
//关闭连接
jedis.close();
//关闭连接池
jedisPool.close();
}
3.Spring整合jedisPool
需要配置的spring文件如下:
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:mvc="http://www.springframework.org/schema/mvc"
xmlns:context="http://www.springframework.org/schema/context"
xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx"
xsi:schemaLocation="http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans-3.2.xsd
http://www.springframework.org/schema/mvc
http://www.springframework.org/schema/mvc/spring-mvc-3.2.xsd
http://www.springframework.org/schema/context
http://www.springframework.org/schema/context/spring-context-3.2.xsd
http://www.springframework.org/schema/aop
http://www.springframework.org/schema/aop/spring-aop-3.2.xsd
http://www.springframework.org/schema/tx
http://www.springframework.org/schema/tx/spring-tx-3.2.xsd ">
<!-- 连接池配置 -->
<bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">
<!-- 最大连接数 -->
<property name="maxTotal" value="30" />
<!-- 最大空闲连接数 -->
<property name="maxIdle" value="10" />
<!-- 每次释放连接的最大数目 -->
<property name="numTestsPerEvictionRun" value="1024" />
<!-- 释放连接的扫描间隔(毫秒) -->
<property name="timeBetweenEvictionRunsMillis" value="30000" />
<!-- 连接最小空闲时间 -->
<property name="minEvictableIdleTimeMillis" value="1800000" />
<!-- 连接空闲多久后释放, 当空闲时间>该值 且 空闲连接>最大空闲连接数 时直接释放 -->
<property name="softMinEvictableIdleTimeMillis" value="10000" />
<!-- 获取连接时的最大等待毫秒数,小于零:阻塞不确定的时间,默认-1 -->
<property name="maxWaitMillis" value="1500" />
<!-- 在获取连接的时候检查有效性, 默认false -->
<property name="testOnBorrow" value="false" />
<!-- 在空闲时检查有效性, 默认false -->
<property name="testWhileIdle" value="true" />
<!-- 连接耗尽时是否阻塞, false报异常,ture阻塞直到超时, 默认true -->
<property name="blockWhenExhausted" value="false" />
</bean>
<!-- redis单机 通过连接池 -->
<bean id="jedisPool" class="redis.clients.jedis.JedisPool"
destroy-method="close">
<constructor-arg name="poolConfig" ref="jedisPoolConfig" />
<constructor-arg name="host" value="192.168.242.130" />
<constructor-arg name="port" value="6379" />
</bean>
</beans>
然后测试类如下:
@Test
public void testJedisPool() {
JedisPool pool = (JedisPool) applicationContext.getBean("jedisPool");
Jedis jedis = null;
try {
jedis = pool.getResource();
jedis.set("name", "lisi");
String name = jedis.get("name");
System.out.println(name);
} catch (Exception ex) {
ex.printStackTrace();
} finally {
if (jedis != null) {
// 关闭连接
jedis.close();
}
}
}