01 redis基础

一.什么是redis

• 1.开源分布式kv数据库
• 2.C语言编写，单线程运行
• 3.支持数据类型分别是key、string、list、set、hash、zset
• 4.提供多种语言API，常见的c/java/php/python/node.js/perl/swift等
• 5.高性能，并提供持久化机制
• 6.支持一致性hash集群分布，支持主从复制高可用方案

二.优点

• 1.高性能，写8W/s，读11W/s
• 2.易用，数据类型比MC更多
• 3.易扩展，支持lua脚本、集群、高可用
• 4.数据可靠及完整性，两种持久化方式：rdb、aof，支持部分事务
• 5.生产实践多
• 6.社区活跃，培训多，在线文档全

三.redis与MC对比样例

3.1测试用例说明

• 1.key范围：2-100字节随机生产
• 2.value固定100字节
• 3.初始数据分别为0/500w/1500w
• 4.分别测试insert、select
• 5.每次测试并发50线程，每个线程处理10w记录
• 6.redis开启快照持久化，300s一次
• 7.开启redis虚拟内存功能
• 8.7500w-8000w存量的数据内存约13G左右

3.2测试结论

类型	MC	redis
相同的数据模型	保存的热数据量比redis高，13G内存下能保存1亿条数据	保存8000w条
相同的服务器环境写性能	写性能比redis高，约10W条每秒	约7W条每秒
相同的服务器环境读性能	约10W条每秒	约8W条每秒
达到内存上限的处理	插入性能在临界点有些抖动，然后将到约7W条每秒，之后性能跟临界点之前一样
达到内存上限的性能	读性能并没有变化	性能急剧下降，1100条每秒，之后受子进程dump数据竞争系统资源影响而非常不稳定性能急剧下降，之后受子进程dump数据和每秒产生大量页面错误影响而持续下降
单个CPU百分比	内存上限临界点约300%，其他稳定在150%左右	内存上限临界前90%左右，之后受子进程dump数据和每秒产生大量页面错误影响，CPU使用率不高，甚至降到1%
CPU利用率	单实例	单线程运行，只能用一颗CPU，单主机多实例
内存占用	都随着写入数据的增多而增大，达到内存上限后不再变化	受子进程dump数据竞争而持续下降
页面错误	纯内存操作，不产生页面错误	达到内存上限后，需要将数据转储虚拟内存，受子进程dump数据竞争系统资源影响产生大量页面错误
IO操作	纯内存操作	insert时，达到内存上线前没有明显IO读操作，有明显IO写操作，因为快照，达到内存上线后，有明显磁盘IO读操作，写操作反而不明显

四.业务场景

4.1复杂数据结构及业务场景

• 1.利用内存的高效，基于lua业务逻辑扩展，实现基于缓存的业务逻辑计算，比如商品实时价格
• 2.利用redis事务机制，支撑复杂的业务，保障业务完整性，如扣除库存以及下订单
• 3.取罪行N个数据的操作，比如最新评论，基于list，取前后末尾
• 4.排行榜应用，取top n操作，基于sorted set中的score排序
• 5.查找过期数据，基于sorted set中的score，把score的值设置为时间
• 6.计数器，高性能，具备原子性
• 7.uniq操作，获取某段时间所有数据排重值
• 8.pub/sub构建实时消息系统
• 9.构建队列系统

4.2 宕机时间短

• 1.基于快照、aof、主从复制提供高可用和数据快速还原
• 2.业务越复杂，丢失的数据恢复越困难

五.安装redis4.0，以服务方式进行安装部署

• 1)下载解压，不需要编译

  wget http://download.redis.io/releases/redis-4.0.8.tar.gz
  tar -zxvf redis-4.0.8.tar.gz
  cd redis-4.0.8
  make && make install

• 2)结束之后在目录/usr/local/bin会生成如下文件

  -rwxr-xr-x. 1 root root 5.5M Mar 29 10:55 redis-server
  -rwxr-xr-x. 1 root root 2.4M Mar 29 10:55 redis-benchmark
  -rwxr-xr-x. 1 root root 2.5M Mar 29 10:55 redis-cli
  -rwxr-xr-x. 1 root root 5.5M Mar 29 10:55 redis-check-rdb
  -rwxr-xr-x. 1 root root 5.5M Mar 29 10:55 redis-check-aof
  lrwxrwxrwx. 1 root root   12 Mar 29 10:55 redis-sentinel -> redis-server

  也可以安装到指定目录make install PREFIX=/usr/local/redis

• 3)从源码目录拷贝单独的配置文件

  mkdir -p /usr/local/redis/etc
  cp /root/redis-4.0.8/*.conf /usr/local/redis/etc

• 4)配置连接地址和密码

  vi /usr/local/redis/etc/redis.conf
  #bind 127.0.0.1
  requirepass foobared
  daemonize yes
  #protected-mode yes
  dir /usr/local/redis/work
  #slaveof 172.16.3.140 6379
  # master不需要设置slaveof，只有slave才需要

• 5)启动脚本

  cp /root/redis-4.0.8/utils/redis_init_script /etc/init.d/redis
  touch /etc/init.d/redis
  chmod u+x /etc/init.d/redis
  vi /etc/init.d/redis
  #!/bin/sh
  #
  # redis        Startup script for Redis Server
  #
  # chkconfig: - 80 12
  # description: Redis is an open source, advanced key-value store.
  #
  # processname: redis-server
  # config: /etc/redis.conf
  # pidfile: /var/run/redis.pid
  source /etc/init.d/functions
  BIN="/usr/local/redis/bin"
  CONFIG="/usr/local/redis/etc/redis.conf"
  PIDFILE="/var/run/redis.pid"
  ### Read configuration
  [ -r "$SYSCONFIG" ] && source "$SYSCONFIG"
  RETVAL=0
  prog="redis-server"
  desc="Redis Server"
  start() {
      if [ -e $PIDFILE ];then
           echo "$desc already running...."
           exit 1
      fi
      echo -n $"Starting $desc: "
      daemon $BIN/$prog $CONFIG
      RETVAL=$?
      echo
      [ $RETVAL -eq 0 ] && touch /var/lock/subsys/$prog
      return $RETVAL
  }
  stop() {
      echo -n $"Stop $desc: "
      killproc $prog
      RETVAL=$?
      echo
      [ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/$prog $PIDFILE
      return $RETVAL
  }
  restart() {
      stop
      start
  }
  case "$1" in
    start)
      start
      ;;
    stop)
      stop
      ;;
    restart)
      restart
      ;;
    condrestart)
      [ -e /var/lock/subsys/$prog ] && restart
      RETVAL=$?
      ;;
    status)
      status $prog
      RETVAL=$?
      ;;
     *)
      echo $"Usage: $0 {start|stop|restart|condrestart|status}"
      RETVAL=1
  esac
  exit $RETVAL

• 6)启动验证

  /etc/init.d/redis start
  [root@haproxy02 init.d]# redis-cli -h 172.16.3.141 -p 6379 -a foobared
  172.16.3.141:6379> 

六.启动参数

6.1启动

• 1.默认启动

  src/redis-server
  # 默认前台启动
  # 默认不适用配置文件

• 2.后台启动

  src/redis-server &
  # 不要用
  参数文件 daemonize yes

• 3.启动参数

  root@haproxy02 bin]# ./redis-server --help
  Usage: ./redis-server [/path/to/redis.conf] [options]
     ./redis-server - (read config from stdin)
     ./redis-server -v or --version
     ./redis-server -h or --help
     ./redis-server --test-memory <megabytes>
  #
  Examples:
     ./redis-server (run the server with default conf)
     ./redis-server /etc/redis/6379.conf
     ./redis-server --port 7777
     ./redis-server --port 7777 --slaveof 127.0.0.1 8888
     ./redis-server /etc/myredis.conf --loglevel verbose
  #
  Sentinel mode:
     ./redis-server /etc/sentinel.conf --sentinel

6.2常用参数说明

• daemonize：后台运行，默认no
• pidfile：pid文件位置，默认/run/redis.pid
• port：监听端口号，默认6379
• bind 127.0.0.1，监听网卡的IP，远程被连接需要注释掉
• logfile：log文件位置，默认stdout，默认后台模式会输出到/dev/null
• loglevel notice，日志记录级别，多到少：debug/verbose/notice/warning

6.3自启动配置

• 1.以端口命名参数文件

  cp /root/redis-4.0.8/redis.conf /usr/local/redis/etc/redis_6379.conf

• 2.复制到启动脚本到/etc/init.d目录下

  [root@haproxy02 utils]# pwd
  /root/redis-4.0.8/utils
  [root@haproxy02 utils]# cat redis_init_script
  #!/bin/sh
  # chkconfig: 2345 90 10
  # 增加项，linux启动级别2345，启动优先级90，关闭优先级10
  # Simple Redis init.d script conceived to work on Linux systems
  # as it does use of the /proc filesystem.
  #
  REDISPORT=6379
  #EXEC=/usr/local/bin/redis-server
  EXEC=/usr/local/redis/bin/redis-server
  # 修改项
  #CLIEXEC=/usr/local/bin/redis-cli
  CLIEXEC=/usr/local/redis/bin/redis-cli
  # 修改项
  #
  PIDFILE=/var/run/redis_${REDISPORT}.pid
  # 配置与config文件里的pidfile参数一致
  CONF="/etc/redis/${REDISPORT}.conf"
  # 修改项
  case "$1" in
  start)
      if [ -f $PIDFILE ]
      then
              echo "$PIDFILE exists, process is already running or crashed"
      else
              echo "Starting Redis server..."
              $EXEC $CONF
      fi
      ;;
  stop)
      if [ ! -f $PIDFILE ]
      then
              echo "$PIDFILE does not exist, process is not running"
      else
              PID=$(cat $PIDFILE)
              echo "Stopping ..."
              $CLIEXEC -p $REDISPORT shutdown
              while [ -x /proc/${PID} ]
              do
                  echo "Waiting for Redis to shutdown ..."
                  sleep 1
              done
              echo "Redis stopped"
      fi
      ;;
  *)
      echo "Please use start or stop as first argument"
      ;;
  esac

6.4客户端命令

• 1.默认连接本地6379端口

  redis-cli
  # 等于redis-cli -h 127.0.0.1 -p 6379

• 2.加了密码连接

  redis-cli -h 127.0.0.1 -p 6379 -a foobared