redis提高之集群概念

整理的不够系统，需要之后再完善

1. zookeeper集群

奇数个节点，原因：投票机制，选举效率高

2. solrcloud

1. 概念

solrcloud是solr提供的分布式搜索方案，需要大规模、容错、分布式索引和检索能力时用solrCloud。搜索量很大，搜索请求并发很高时采用。

基于solr和zookeeper的分布式搜索方案，主要思想是使用zookeeper作为集群的配置信息中心。

特色功能：

集中式的配置信息
自动容错
近实时搜索
查询时自动负载均衡

3. redis-cluster

1. 概念

为何要搭建Redis集群。Redis是在内存中保存数据的，而我们的电脑一般内存都不大，这也就意味着Redis不适合存储大数据，适合存储大数据的是Hadoop生态系统的Hbase或者是MogoDB。Redis更适合处理高并发，一台设备的存储能力是很有限的，但是多台设备协同合作，就可以让内存增大很多倍，这就需要用到集群。

redis 3.0之后版本支持redis-cluster集群，它是Redis官方提出的解决方案，Redis-Cluster采用无中心结构，每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。其redis-cluster架构图如下：

在这里插入图片描述

客户端与 redis 节点直连,不需要中间 proxy 层.客户端不需要连接集群所有节点连接集群中任何一个可用节点即可。

所有的 redis 节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。

2. 分布式存储机制-槽

redis-cluster 把所有的物理节点映射到[0-16383]slot 上,cluster 负责维护

Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value 时，redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，这样每个key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点数量大致均等的将哈希槽映射到不同的节点

例如三个节点：槽分布的值如下：

SERVER1: 0-5460

SERVER2: 5461-10922

SERVER3: 10923-16383

3. 容错机制-投票

选举过程是集群中所有master参与,如果半数以上master节点与故障节点通信超过(cluster-node-timeout),认为该节点故障，自动触发故障转移操作. 故障节点对应的从节点自动升级为主节点

什么时候整个集群不可用

如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态

在这里插入图片描述

其他概念

1. 反向代理

Reverse Proxy，以代理服务器来接收Internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给Internet上请求链接的客户端，此时代理服务器对外表现为一个反向代理服务器。

nginx主机修改nginx配置文件

upstream pinyougou-portal {
  server 192.168.25.141:8080;
}
server {
  listen	80;
  server_name www.pinyougou.com;
  
  location / {
  	proxy_pass http://pinyougou-portal;
  	index	index.html;
   }
}

2. 负载均衡

web工程由nginx做反向代理实现负载均衡

服务工程由zookeeper负责负载均衡

nginx配置

upstream pinyougou-portal {
  server 192.168.25.141:8080;
  server 192.168.25.141:8081;
  server 192.168.25.141:8082;
}
server {
  listen	80;
  server_name www.pinyougou.com;
  
  location / {
  	proxy_pass http://pinyougou-portal;
  	index	index.html;
   }
}

3. 高可用

nginx压力很大，需要建立备份机，主机和备份机都运行高可用监控程序来监控对方的运行状况。

keepalived就是集群管理中保证集群高可用的服务软件，防止单点故障。