redis的集群化方案

关于目前有三种

（1）Twitter开发的twemproxy

（2）豌豆荚开发的codis

（3）redis官方的redis-cluster

Twemproxy

架构简单就是用proxy对后端redis server进行代理但是由于代理层的消耗性能很低而且通常涉及多个key的操作都是不支持的而且本身不支持动态扩容和透明的数据迁移而且也失去维护 Twitter内部已经不使用了

扫描二维码关注公众号，回复： 8420925 查看本文章

redis-cluster是三个里性能最强大的因为他使用去中心化的思想使用hash slot方式将16348个hash slot 覆盖到所有节点上对于存储的每个key值使用CRC16(KEY)&16348=slot 得到他对应的hash slot 并在访问key时就去找他的hash slot在哪一个节点上然后由当前访问节点从实际被分配了这个hash slot的节点去取数据节点之间使用轻量协议通信减少带宽占用性能很高自动实现负载均衡与高可用自动实现failover 并且支持动态扩展官方已经玩到可以1000个节点实现的复杂度低总之个人比较喜欢这个架构因为他的去中心化思想免去了proxy的消耗是全新的思路

但是它也有一些不足例如官方没有提供图形化管理工具运维体验差全手工数据迁移并且自己对自己本身的redis命令支持也不完全等但是这些问题我觉得不能掩盖他关键的新思想所带来的的优势随着官方的推进这些问题应该都能在一定时间内得到解决那么这时候去中心化思想带来的高性能就会表现出他巨大的优势

codis使用的也是proxy思路但是做的比较好是这两种之间的一个中间级而且支持redis命令是最多的有图形化GUI管理和监控工具运维友好这个过段时间会详细另外写出来原理工作机制和搭建实现

CLUSTER

1. 介绍

redis3.0及以上版本实现，集群中至少应该有奇数个节点，所以至少有三个节点，官方推荐三主三从的配置方式
使用哈希槽的概念，Redis 集群有16384个哈希槽，每个key通过CRC16校验后对16384取模来决定放置哪个槽。集群的每个节点负责一部分hash槽。
使用主从复制模型，每个节点都会有N-1个slave。如果master不可用，会选举slave为新的master继续服务；如果同个节点的master和slave都失效，整个集群将不可用。

2. 集群的不足：

Redis集群并不支持处理多个key的操作，因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误。举例来说，当两个set映射到不同的redis实例上时，你就不能对这两个set执行交集操作。
涉及多个key的redis事务不能使用。
无法使用多个DB. select 禁止使用

集群

cluster info ：打印集群的信息
cluster nodes ：列出集群当前已知的所有节点（ node），以及这些节点的相关信息。

下面是常用的参数：
redis-cli --cluster help

1、create：创建集群
2、check：检查集群
3、info：查看集群信息
4、fix：修复集群
5、reshard：在线迁移slot
6、rebalance：平衡集群节点slot数量
7、add-node：将新节点加入集群
8、del-node：从集群中删除节点
9、set-timeout：设置集群节点间心跳连接的超时时间
10、call：在集群全部节点上执行命令
11、import：将外部redis数据导入集群

CODIS

Codis动态迁移原理:

动态迁移场景：

1、服务slot_1的group原为group 1，codis-config 现发起迁移指令 pre_migrate slot_1 to group 2，将slot_1状态标记为”pre_migrate”；
2、等待所有的proxy回复收到迁移指令；
3、将slot_1状态标记为”migrating”，服务slot_1的server group改为group2
4、codis-config不断发送SLOTSMGRT命令给group1的redis ，直到slot_1所有的key迁移完成；
5、迁移过程中, 如果请求 slot_1 的 key 数据, proxy 会将请求转发到group2上, proxy会先在group1上强行执行一次 MIGRATE key 将这个键值提前迁移过来. 然后再到group2上正常读取
6、将slot_1状态标记为”online”

zookeeper 数据:

hash_tag

当一个key包含 {} 的时候，就不对整个key做hash，而仅对 {} 包括的字符串做hash。

假设hash算法为sha1。对user:{user1}:ids和user:{user1}:detail，其hash值都等同于sha1(user1)。

def HASH_SLOT(key)
    s = key.index "{"
    if s
        e = key.index "}",s+1
        if e && e != s+1
            key = key[s+1..e-1]
        end
    end
    crc16(key) % 16384
end

redis的集群化方案

猜你喜欢