Redis集群监控方法

   1. 技术领域

       提供一种Redis集群中各Redis节点的监控处理方法，能够采集Redis节点的资源信息、性能指标数据，集群内多个Redis节点服务运行状态监控。实现告警监控信息、资源和性能指标的采集与分析的监控方法。

 

   2. 背景技术

    2.1 Redis简介

       Redis 是一种开源的内存中key-value数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets），有序集合（sorted sets）与范围查询。Redis也可以被看成是一个数据结构服务器。Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上。

      Redis可使用一个或多个Redis哨兵（Sentinel），和Redis的主节点（Master）、 多个从节点（Slave）组成一个集群。Sentinel来检测Redis的Master节点是否运行正常，并在Master节点发生故障时，将 Master的Slave提升为Master，并在老的Master重新加入到Sentinel的群集之后，会被重新配置，作为新Master的Slave。基于Redis的 Sentinel可实现集群的高可用管理功能。

 

​​​​​​​   2.2 Redis监控方法

        Redis 监控最直接的方法就是在装有Redis的服务器上使用Redis服务提供的 INFO 命令，只需要执行下面一条命令：

        ./redis-cli -p 端口号info

       会返回一个Redis节点的Server、Clients、Memory、Persistence、Stats、Replication、CPU、Keyspace 8个部分的结果信息。从INFO返回结果中得到相关信息，就可以达到监控一个Redis节点的目的。

       如下结果返回的是一个Redis的Master节点的信息：

# Server

redis_version:2.8.8                      # Redis 的版本

redis_git_sha1:00000000

redis_git_dirty:0

redis_build_id:bf5d1747be5380f

redis_mode:standalone

os:Linux 2.6.32-220.7.1.el6.x86_64 x86_64

arch_bits:64

gcc_version:4.4.7                        #gcc版本

process_id:49324                        # 当前 Redis 服务器进程id

run_id:bbd7b17efcf108fdde285d8987e50392f6a38f48

tcp_port:6379

uptime_in_seconds:1739082               # 运行时间(秒)

uptime_in_days:20                       # 运行时间(天)

 

# Clients

connected_clients:1                      #连接的客户端数量

client_longest_output_list:0

client_biggest_input_buf:0

blocked_clients:0

 

# Memory

used_memory:821848                    #Redis分配的内存总量             

used_memory_human:802.59K

used_memory_rss:85532672               #Redis分配的内存总量(包括内存碎片)

used_memory_peak:178987632

used_memory_peak_human:170.70M       #Redis所用内存的高峰值

used_memory_lua:33792

mem_fragmentation_ratio:104.07           #内存碎片比率

mem_allocator:tcmalloc-2.0

 

# Persistence

loading:0

rdb_changes_since_last_save:0           #上次保存数据库之后，执行命令的次数

rdb_bgsave_in_progress:0               #后台进行中的 save 操作的数量

rdb_last_save_time:1410848500   #最后一次成功保存时间点

rdb_last_bgsave_status:ok

rdb_last_bgsave_time_sec:0

rdb_current_bgsave_time_sec:-1

aof_last_bgrewrite_status:ok

aof_last_write_status:ok

 

# Stats

total_connections_received:5705            #运行以来连接过的客户端的总数量

total_commands_processed:204013          #运行以来执行过的命令的总数量

instantaneous_ops_per_sec:0

rejected_connections:0

expired_keys:34401                       #运行以来过期的 key 的数量

evicted_keys:0                           #运行以来删除过的key的数量

keyspace_hits:2129                       #命中key 的次数

keyspace_misses:3148                     #没命中key 的次数

# Replication

role:master                              #当前实例的角色master还是slave

connected_slaves:0

master_repl_offset:0

 

# CPU

used_cpu_sys:1551.61

used_cpu_user:1083.37

used_cpu_sys_children:2.52

used_cpu_user_children:16.79

 

# Keyspace

db0:keys=3,expires=0,avg_ttl=0    #各个数据库key 的数量，以及带有生存期的 key 的数量

以上字符串就是这个Redis节点带有固定格式的一些字段属性和值。

同样通过INFO命令，对一个Sentinel节点返回的信息如下：

# Sentinel

sentinel_masters:3

sentinel_tilt:0

sentinel_running_scripts:0

sentinel_scripts_queue_length:0

master0:name=common, status=ok,address=192.168.95.111:56379,slaves=1,sentinels=3

master1:name=resource1,status=ok,address=192.168.95.112:56379,slaves=1,sentinels=3

master2:name=resource2,status=ok,address=192.168.95.113:56379,slaves=1,sentinels=3

由返回信息可得知这个Sentinel目前管理了3个Master，并分别给出了Master的IP和端口，每个Master各有一个Slave。

 

3.技术方案描述

​​​​​​​3.1 要解决的技术问题

       通过在Redis服务器上执行INFO命令可以得到当前Redis节点的结果信息，但需要手工执行命令，结果信息可读性不强，不直观，不能达到自动监控的目的。 理想监控方案是在公司目前的监控产品中，集成Redis的集群监控方案，能够周期性、不间断的自动采集Redis各节点的数据信息，实时上报Redis节点的监控指标和状态，和Redis集群的服务状态信息。

​​​​​​​3.2 整体思路

       Redis的Sentinel作为Redis的高可用方案，可以实现Redis的Mater和Slave之间高可用和故障自动切换。以公司某监控产品环境中的用到的Redis为例，为公共数据部署一组Redis，包括一个Master和一个Slave。为资源数据部署两组Redis，每组内同样包括一个Master和一个Slave。这样通过6个Redis（Master/Slave）节点形成一个Redis集群服务方案。

        为了方便说明Redis集群，本次在三台服务器进行Redis集群的安装，其中每台服务器上各部署一个Master和Slave，考虑到防止设备宕机导致的高可用问题，不同服务器的Master和Slave形成Master/Slave关系。另外每台服务器上要各部署一个Sentinel，做为Redis的管理节点，实时监测Master和Slave的主备状态与切换， 如果Master所在的服务器宕机，Slave也能继续接替Master工作。

      实际部署形成的Redis主备节点集群方案如下， Slave节点通过蓝色箭头指向Master节点做表示：

 ​​​​​​​3.3 实现方案

 3.3.1 采用Java直接连接Redis节点取INFO信息

        采用Java开发，在开发工程中引用开发包jedis-2.7.2.jar，进行代码开发。连接一个Redis节点的关键代码如下，例如连接一个IP是192.168.180.61，端口是56380的Redis节点：

Jedis jedis = new Jedis (“192.168.180.61”, 56380);

String info = jedis.info ();

      如果这个IP和端口的Redis节点正常，则返回的info字符串，就可得到这个节点的所有信息，与在Redis服务器上通过INFO命令取节点信息是同样效果。

 

    3.3.2采集Redis节点方法

       通过Sentinel节点采集，可采集Sentinel管理的Master节点信息。在确定了一个Sentinel节点的IP和端口的情况下，先采这个Sentinel节点的信息，可得到这个Sentinel管理的Master节点的IP和端口，有了多个Master节点的IP和端口，可再针对这些IP和端口进行采集。

       例如采一个Sentinel节点，得到目前这个Sentinel管理的3个Master的IP和端口，再依次采用这3个Master的IP和端口的Redis信息，得到该Master的Slave节点信息。

       如下图例展示了通过一个Sentinel可采到所有节点的过程：

 

       这样至少通过一个Sentinel节点的IP和端口，就能把这个集群服务中的所有Master和Slave节点信息采集到，包括这个Sentinel节点本身。其它的Sentinel节点再分别通过IP和端口采集。

如下图展示是的当前这个名为Redis180的服务， 各个Redis节点的一个展示页面效果。

 

     3.3.3从INFO字符串提取关键配置信息和性能指标

      通过取一个Redis节点的INFO字符串信息中，是格式固定的字符串，通过提取关键指标值，将指标值进行分析处理，可做为Redis节点的资源配置信息或性能指标值。例如内存部分的字段信息：

used_memory: 4809536                #Redis使用的内存             

used_memory_peak: 6589592    #Redis所用内存的高峰值

       这两个指标给出的是当前这个Redis节点使用的内存量与高峰值的字节数。通过一个Redis节点的IP与端口，做为资源的唯一标识，把这两个指标数据归属到这个Redis资源上。数据在入库后，可通过界面查看这两个指标的展示情况：

3.3.4一个服务中通过Sentinel判断服务状态

       部署了多个Redis节点，包括多个Master，Slave，Sentinel节点成一个集群，通过Sentinel来管理各节点的运行状态。 Sentinel能够监控所管理的Master或Slave节点的运行状态和角色，所以可以通过Sentinel来判断一个Redis集群服务的运行状态。

    判断一个集群服务方法：如果服务中所有的Sentinel节点无法取回INFO信息，则认为这个服务状态是异常的，并上报Redis服务不可用告警。

实现方法：

1. 周期检查一个Redis服务中的所有Sentinel的IP和端口， 如果服务中的每个Sentinel的IP和端口都不能返回INFO信息，则认为这个服务异常不可用，并上传Redis服务状态异常不可用的告警。

2.  如果是单个Sentinel节点不能返回INFO信息，则上传这个Sentinel节点状态异常告警。

3.  当检查到所有Sentinel节点的IP和端口都可采，都能返回INFO信息，是认为Redis服务已正常，上传Redis服务恢复正常的恢复告警。

 

​​​​​​​4.本方案相对于现有方案的有益效果或者优点

实现了一种可视化的实时监控Redis集群中节点信息和服务运行状态的监控方法。

通过一个Sentinel节点就能一次性采集发现这个Sentinel管理的所有Redis节点信息。

     为一组部署了Sentinel节点的Redis集群确定了一种通过多个Sentinel判断集群服务是否正常的方法。