4.查询性能优化：多机缓存
一、学习目标：
上一节通过服务器的水平扩展，将应用部署在多台机器上来处理请求极大地提升了TPS，但这多台数据库仍然使用同一台机器的数据库。
接下来将使用一些查询优化的技术，来完成商品详情页的查询优化解决方案。
- 掌握多级缓存的定义
- 掌握 redis缓存，本地缓存
- 掌握热点nginx lux缓存
二、缓存设计原则概览
- 缓存要使用快速存取设备，内存
- 将缓存推到离用户最近的地方，减少网络延时
- 脏缓存清理，数据库发生变更后，缓存中的旧数据就是
脏缓存，如何清理，清理策略
** 多级缓存**
- redis缓存
- 热点数据，内存本地缓存
- nginx proxy cache缓存
- nginx lua缓存
三、Redis集中式缓存介绍
安装、原理、session管理、token管理见前文。
key-value格式的数据库。
memorycatch 是完全的内存数据库。
而redis可以将数据刷新到磁盘，容许一定数量的丢失。一般将其当做易失性的存储。
Why集中式缓存？
应用服务器水平拓展后都连接这同一台redis服务器。
1.单机版
故障瓶颈，容量上限
2.sentinal哨兵模式
redis2做redis1的从属备份redis，redis上的改动都被同步至redis2上备份。
但党redis1挂掉的时候，理应应用服务器理应自动向redis2请求服务，但是由于并发环境太复杂，应用服务器很难感知到redis2挂掉了。因此产生了sentinel哨兵模式。
在第一次使用时，应用服务器首先ask sentinel，该使用哪台redis，sentinel回复告知，应用服务器再去向redis请求。
sentinel工具与redis建立心跳机制。任何导致心跳断开的情况，sentinel都认为是redis1的故障。则发送命令，令redis2变更为master，redis1变更为slave，并通知应用服务器change（如下图）。
3.集群cluster模式
哨兵模式的缺点也很明显，同一时间只有一台redis对外提供服务。
在cluster之前，使用分片与读写分离：
但在新增redis5的时候，需要各种繁杂的数据迁移。可扩容性还是差。
因此出现了cluster集群模式：
redis2个读，2个写。并自动竞选出master和slave。并且每一个redis都知道所有的关系。并将这关系路由表发给应用服务器，应用服务器将这些分片信息维护在自己的内存当中。
当redis3出现故障时，自动通过帕克机制重新分配地位，哈希分片都会自动重新调整。
但应用服务器内还是错误的分片路由列表。当应用服务器按照错误列表找到了redis2请求某数据时，redis2发现服务器请求的key不属于自己调整之后的管理范畴，则向服务器返回reask请求，让服务器重新拉取最新的分片路由表。
以上三种模式均得到了 jedis 的实现。
四、Redis集中式缓存商品详情页
在controller层，将详情信息缓存起来，不去走下游service的调用了。减少对数据库的依赖。
但是被redis自己序列化后的乱码
更改了默认的键值的序列化方式，使其易读。
五、本地热点缓存
即JVM服务器的本地
- 热点数据
- 脏读非常不敏感，数据库一旦改动，就会出现很多脏缓存数据被读取而不知
可以通过MQ进行更新，但得不偿失。
- 内存可控，且珍贵
仅仅作为瞬时访问，因此缓存有效时间很短。
得支持并发读写。单纯的hashmap无法满足。还得以LRU等策略进行淘汰，按时间KEY自动失效等等。
实现：
Guava cache
- 可控只得大小和超时时间
- 可配置的lru策略
- 线程安全
@Service
public class CacheServiceImpl implements CacheService {
private Cache<String,Object> commonCache = null;
@PostConstruct
public void init(){
commonCache = CacheBuilder.newBuilder()
//设置缓存容器的初始容量为10
.initialCapacity(10)
//设置缓存中最大可以存储100个KEY,超过100个之后会按照LRU的策略移除缓存项
.maximumSize(100)
//设置写缓存后多少秒过期
.expireAfterWrite(60, TimeUnit.SECONDS).build();
}
@Override
public void setCommonCache(String key, Object value) {
commonCache.put(key,value);
}
@Override
public Object getFromCommonCache(String key) {
return commonCache.getIfPresent(key);
}
}
提升1000TPS。
六、Nginx proxy catch
- nginx反向代理前置启用时，proxy catch才能用
- 依靠文件系统索引级的文件来完成缓存操作
- 依靠内存来 缓存文件地址
但由于其是将缓存存储在本地磁盘系统了，并不是保存在内存当中，因此QPS没有明显提升，甚至比jvm本地缓存的性能下降了。平均时延更长了。
七、Nginx Lua原理
- lua协程机制
线程空间站内的，依托于线程，根据用户模拟出来的
- nginx协程机制
无需考虑异步编程模式
- nginx lua插载点
- OpenResty
1.协程机制
- 依附于线程的内存模型，切换开销小
- 遇到阻塞及时归还执行权，代码同步
- 无需加锁
2.Nginx协程
- nginx的每一个worker进程都是在epoll或kqueue这种事件模型之上，封装成协程。
当
- 每一个请求都有一个协程进行处理
- 即使ngx_lua运行lua，相对c有一定的开销，但依旧能保证高并发能力。
3.Nginx协程机制
- nginx每个工作进程创建一个lua虚拟机。用来跑lua文件
- 工作进程内的所有协程共享同一个vm
- 每一个外部请求由一个lua协程处理，之间数据隔离
- lua代码调用io等异步接口时，协程被挂起，上下文数据保持不变
- 自动保存，不阻塞工作进程
- io异步操作完成后还原协程上下文，代码继续执行。即代码是同步型的编程，比较简单。
即在接收到HTTP请求后，分配一个lua协程去处理，但碰到比如反向代理需要等待后端服务器返回数据时，把socket句柄放置的epoll监听队列中，把自己挂起。继续执行其他协程，等到后端服务器返回时，epoll会监听到，然后协程唤醒自己再处理后面的response操作。
也正因此，各个协程之间的数据是隔离的。
nginx是一个worker就是一个线程，底下是很多的协程。完全基于协程的方式串行处理。
而java servlet在处理http请求时，是一个请求，分配一个线程去处理的。
4.Nginx处理阶段
5.Nginx lua挂载点
6.OpenResty
- 借助Nginx的事件驱动模型和非阻塞IO，可以实现高性能的web应用程序。
- 提供了大量组件如Mysql、redis、memcache等，使在nginx上开发web应用更方便简单。
(1) hello world
即在访问helloworld时，返回访问/item/get?id=6的结果。
(2) shared dic
共享内存字典，所有worker进程可见
类似于guaua catch一样的内存字典，且支持lru淘汰
但具有内存限制。
所以
(3) openresty redis支持
nginx从redis中读取肯定比从shared dic中要慢一点，
更新机制就在nginx处省掉了，让下游应用服务器去更新，nginx只读不写。
nginx可以实时感知redis中的数据，可以避免脏读。
因此，nginx可以只将热点数据存在自己的内存缓存中，非热点数据就读redis slave。
八、总结
越靠近上游，缓存占用的系统资源越昂贵，对应的更新机制越难，性能越高。
因此没有统一通用的缓存方案，需要根据实际业务场景，对脏读的容忍程度，热点数据的程度，来决定动态请求的缓存方案。