在目前的开发应用中，基本上缓存是标配，而使用的比较多的是redis、memercache等，也有一些本地缓存，比如hashmap、google guava包、spring cache等，或者更好一点的本地作为一级缓存，redis等作为二级缓存，本地缓存数据量较少
@Override
public OrderEntity selectById(Long id) {
Object object = redisUtils.get(String.valueOf(id));
if(object!=null){
return (OrderEntity) object;
}else {
return orderMapper.selectByPrimaryKey(id);
}
}上述代码先从redis查询，如果没有从数据库查询，这是一般的做法。
如果并发量非常高，redis里面没有数据，会直接查询数据库，导致数据库的压力非常大。可能就会导致数据库非常危险，甚至不可用。发生缓存穿透基本数据库就崩了。一般mysql服务器8核16G能承受并发2W+，16核96G能承受并发4.5W+，必须要防范。
1、在查询的时候进行参数验证，按照实际业务指定的参数规则验证，匹配不上直接返回
2、匹配上，redis没有，还是会查询数据库，数据库即使查询没有数据，同样缓存，缓存为null，可以加一个过期时间，或者定时清理为null的缓存，设置过期时间保证原子性，防止redis中途挂掉。
3、提前缓存查询频繁的数据
改造后的代码:
@PostConstruct
public void init(){
//初始化数据，遍历所有数据将id放入redis中
}
@Override
public OrderEntity selectById(Long id) {
Object object = redisUtils.get(String.valueOf(id));
if(object!=null){
return (OrderEntity) object;
}else {
OrderEntity orderEntity = orderMapper.selectByPrimaryKey(id);
redisUtils.set(String.valueOf(id), orderEntity, 5);
return orderEntity;
}
}@PostConstruct注解为Spring提供的构造函数初始化执行的代码块
以上代码为思路，实际肯定不会这样写
提前缓存数据在初始化之后，数据量会非常大，举个例子，一个8字节的ID，如果数据量在16亿，那么占用内存就是32G。这个还只是一个ID的缓存，虽然redis官方说的查询速度为12W+/s，如果加上其他的缓存数据，内存占用及其高，并且查询速度也不高
布隆过滤器(Bloom Filter)
具体算法网上很多资料，这里就不讲述。目的在于节省内存，相关算法实现redis也是有的，bitmap，必须验证key的有效性。
bitmap长度有2的32次方，是一个二进制数据，长度足足有40亿+的长度，并且占用内存最高512M，比起16亿的数据量占用好太多。它元素存储的是1/0。二进制存储,也可以理解为就是一个hashmap
缺点是会产生hash碰撞，数据可能会redis没有，但很少，即使没有，再次请求数据库即可。因为这样的请求很少，即使高并发下数据库也能完全应付，还能解决空间占用庞大的问题，能节省很多的成本，成本意识是架构师必不可少考虑的因素。
伪代码:
@PostConstruct
public void init(){
//初始化数据,可以是从数据库或者其他地方获取
List<String> ids=new ArrayList<String>();
//遍历放入redis
ids.stream().forEach(id ->{
int hash = id.hashCode();
//获取bitmap映射位置(hashmap)
long index = (long)Math.abs(hash%Math.pow(2,32));
redisUtils.setBit("bloom_filter_ids",index,true);
});
}
@Override
public OrderEntity selectById(Long id) {
int hash = id.hashCode();
long index = (long)Math.abs(hash%Math.pow(2,32));
boolean b = redisUtils.getBit("bloom_filter_ids", index);
if(b){
Object object = redisUtils.get(String.valueOf(id));
if(object!=null){
return (OrderEntity) object;
}else {
OrderEntity orderEntity = orderMapper.selectByPrimaryKey(id);
redisUtils.set(String.valueOf(id), orderEntity, 5);
return orderEntity;
}
}else {
System.out.println("请求ID被拦截");
return null;
}
}在保证key（我这里以id表示）的有效性的时候，也有可能会产生无数的id/key在redis没有，会查询到数据库，可以同步加锁或者分布式锁等方案都可以
RedisUtils:
package com.chwl.cn.config.redis;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.concurrent.TimeUnit;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;
import org.springframework.util.CollectionUtils;
/**
* @author ypp 创建时间：2018年11月19日 下午4:58:04
* @Description: TODO(redis缓存工具类)
*/
@Component
public class RedisUtils {
@Autowired
@Qualifier("redisTemplate")
private RedisTemplate<String, Object> redisTemplate;
// =============================common============================
/**
* 指定缓存失效时间
* @param key 键
* @param time 时间(秒)
* @return
*/
public boolean expire(String key, long time) {
try {
if (time > 0) {
redisTemplate.expire(key, time, TimeUnit.SECONDS);
}
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 根据key 获取过期时间
* @param key 键 不能为null
* @return 时间(秒) 返回0代表为永久有效
*/
public long getExpire(String key) {
return redisTemplate.getExpire(key, TimeUnit.SECONDS);
}
/**
* 判断key是否存在
* @param key 键
* @return true 存在 false不存在
*/
public boolean hasKey(String key) {
try {
return redisTemplate.hasKey(key);
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 删除缓存
* @param key 可以传一个值 或多个
*/
@SuppressWarnings("unchecked")
public void del(String... key) {
if (key != null && key.length > 0) {
if (key.length == 1) {
redisTemplate.delete(key[0]);
} else {
redisTemplate.delete(CollectionUtils.arrayToList(key));
}
}
}
// ============================String=============================
/**
* 普通缓存获取
* @param key 键
* @return 值
*/
public Object get(String key) {
return key == null ? null : redisTemplate.opsForValue().get(key);
}
/**
* 普通缓存放入
* @param key 键
* @param value 值
* @return true成功 false失败
*/
public boolean set(String key, Object value) {
try {
redisTemplate.opsForValue().set(key, value);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 普通缓存放入并设置时间
*
* @param key 键
* @param value 值
* @param time 时间(秒) time要大于0 如果time小于等于0 将设置无限期
* @return true成功 false 失败
*/
public boolean set(String key, Object value, long time) {
try {
if (time > 0) {
redisTemplate.opsForValue().set(key, value, time, TimeUnit.SECONDS);
} else {
set(key, value);
}
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 递增
* @param key 键
* @param by 要增加几(大于0)
* @return
*/
public long incr(String key, long delta) {
if (delta < 0) {
throw new RuntimeException("递增因子必须大于0");
}
return redisTemplate.opsForValue().increment(key, delta);
}
/**
* 递减
* @param key 键
* @param by 要减少几(小于0)
* @return
*/
public long decr(String key, long delta) {
if (delta < 0) {
throw new RuntimeException("递减因子必须大于0");
}
return redisTemplate.opsForValue().increment(key, -delta);
}
// ================================Map=================================
/**
* HashGet
* @param key 键 不能为null
* @param item 项 不能为null
* @return 值
*/
public Object hget(String key, String item) {
return redisTemplate.opsForHash().get(key, item);
}
/**
* 获取hashKey对应的所有键值
* @param key 键
* @return 对应的多个键值
*/
public Map<Object, Object> hmget(String key) {
return redisTemplate.opsForHash().entries(key);
}
/**
* HashSet
* @param key 键
* @param map 对应多个键值
* @return true 成功 false 失败
*/
public boolean hmset(String key, Map<String, Object> map) {
try {
redisTemplate.opsForHash().putAll(key, map);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* HashSet 并设置时间
* @param key 键
* @param map 对应多个键值
* @param time 时间(秒)
* @return true成功 false失败
*/
public boolean hmset(String key, Map<String, Object> map, long time) {
try {
redisTemplate.opsForHash().putAll(key, map);
if (time > 0) {
expire(key, time);
}
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 向一张hash表中放入数据,如果不存在将创建
* @param key 键
* @param item 项
* @param value 值
* @return true 成功 false失败
*/
public boolean hset(String key, String item, Object value) {
try {
redisTemplate.opsForHash().put(key, item, value);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 向一张hash表中放入数据,如果不存在将创建
* @param key 键
* @param item 项
* @param value 值
* @param time
* 时间(秒) 注意:如果已存在的hash表有时间,这里将会替换原有的时间
* @return true 成功 false失败
*/
public boolean hset(String key, String item, Object value, long time) {
try {
redisTemplate.opsForHash().put(key, item, value);
if (time > 0) {
expire(key, time);
}
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 删除hash表中的值
* @param key 键 不能为null
* @param item 项 可以使多个 不能为null
*/
public void hdel(String key, Object... item) {
redisTemplate.opsForHash().delete(key, item);
}
/**
* 判断hash表中是否有该项的值
* @param key 键 不能为null
* @param item 项 不能为null
* @return true 存在 false不存在
*/
public boolean hHasKey(String key, String item) {
return redisTemplate.opsForHash().hasKey(key, item);
}
/**
* hash递增 如果不存在,就会创建一个 并把新增后的值返回
* @param key 键
* @param item 项
* @param by 要增加几(大于0)
* @return
*/
public double hincr(String key, String item, double by) {
return redisTemplate.opsForHash().increment(key, item, by);
}
/**
* hash递减
* @param key 键
* @param item 项
* @param by 要减少记(小于0)
* @return
*/
public double hdecr(String key, String item, double by) {
return redisTemplate.opsForHash().increment(key, item, -by);
}
// ============================set=============================
/**
* 根据key获取Set中的所有值
* @param key 键
* @return
*/
public Set<Object> sGet(String key) {
try {
return redisTemplate.opsForSet().members(key);
} catch (Exception e) {
e.printStackTrace();
return null;
}
}
/**
* 根据value从一个set中查询,是否存在
* @param key 键
* @param value 值
* @return true 存在 false不存在
*/
public boolean sHasKey(String key, Object value) {
try {
return redisTemplate.opsForSet().isMember(key, value);
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 将数据放入set缓存
* @param key 键
* @param values 值 可以是多个
* @return 成功个数
*/
public long sSet(String key, Object... values) {
try {
return redisTemplate.opsForSet().add(key, values);
} catch (Exception e) {
e.printStackTrace();
return 0;
}
}
/**
* 将set数据放入缓存
* @param key 键
* @param time 时间(秒)
* @param values 值 可以是多个
* @return 成功个数
*/
public long sSetAndTime(String key, long time, Object... values) {
try {
Long count = redisTemplate.opsForSet().add(key, values);
if (time > 0)
expire(key, time);
return count;
} catch (Exception e) {
e.printStackTrace();
return 0;
}
}
/**
* 获取set缓存的长度
* @param key 键
* @return
*/
public long sGetSetSize(String key) {
try {
return redisTemplate.opsForSet().size(key);
} catch (Exception e) {
e.printStackTrace();
return 0;
}
}
/**
* 移除值为value的
* @param key 键
* @param values 值 可以是多个
* @return 移除的个数
*/
public long setRemove(String key, Object... values) {
try {
Long count = redisTemplate.opsForSet().remove(key, values);
return count;
} catch (Exception e) {
e.printStackTrace();
return 0;
}
}
// ===============================list=================================
/**
* 获取list缓存的内容
*
* @param key 键
* @param start 开始
* @param end 结束 0 到 -1代表所有值
* @return
*/
public List<Object> lGet(String key, long start, long end) {
try {
return redisTemplate.opsForList().range(key, start, end);
} catch (Exception e) {
e.printStackTrace();
return null;
}
}
/**
* 获取list缓存的长度
* @param key 键
* @return
*/
public long lGetListSize(String key) {
try {
return redisTemplate.opsForList().size(key);
} catch (Exception e) {
e.printStackTrace();
return 0;
}
}
/**
* 通过索引 获取list中的值
* @param key 键
* @param index 索引 index>=0时， 0 表头，1 第二个元素，依次类推；index<0时，-1，表尾，-2倒数第二个元素，依次类推
* @return
*/
public Object lGetIndex(String key, long index) {
try {
return redisTemplate.opsForList().index(key, index);
} catch (Exception e) {
e.printStackTrace();
return null;
}
}
/**
* 将list放入缓存
* @param key 键
* @param value 值
* @param time 时间(秒)
* @return
*/
public boolean lSet(String key, Object value) {
try {
redisTemplate.opsForList().rightPush(key, value);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 将list放入缓存
* @param key 键
* @param value 值
* @param time 时间(秒)
* @return
*/
public boolean lSet(String key, Object value, long time) {
try {
redisTemplate.opsForList().rightPush(key, value);
if (time > 0)
expire(key, time);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 将list放入缓存
* @param key 键
* @param value 值
* @param time 时间(秒)
* @return
*/
public boolean lSet(String key, List<Object> value) {
try {
redisTemplate.opsForList().rightPushAll(key, value);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 将list放入缓存
* @param key 键
* @param value 值
* @param time 时间(秒)
* @return
*/
public boolean lSet(String key, List<Object> value, long time) {
try {
redisTemplate.opsForList().rightPushAll(key, value);
if (time > 0)
expire(key, time);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 根据索引修改list中的某条数据
* @param key 键
* @param index 索引
* @param value 值
* @return
*/
public boolean lUpdateIndex(String key, long index, Object value) {
try {
redisTemplate.opsForList().set(key, index, value);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 移除N个值为value
* @param key 键
* @param count 移除多少个
* @param value 值
* @return 移除的个数
*/
public long lRemove(String key, long count, Object value) {
try {
Long remove = redisTemplate.opsForList().remove(key, count, value);
return remove;
} catch (Exception e) {
e.printStackTrace();
return 0;
}
}
/**
* 添加一个元素, zset与set最大的区别就是每个元素都有一个score，因此有个排序的辅助功能; zadd
*
* @param key
* @param value
* @param score
*/
public boolean zsetAdd(String key, Object value, Double score) {
try {
redisTemplate.opsForZSet().add(key, value,score);
return true;
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
/**
* 删除元素 zrem
*
* @param key
* @param value
*/
public void remove(String key, String value) {
redisTemplate.opsForZSet().remove(key, value);
}
/**
* @param key
* @param value
* @param score
*/
public Double incrScore(String key, String value, double score) {
return redisTemplate.opsForZSet().incrementScore(key, value, score);
}
/**
* 查询value对应的score zscore
*
* @param key
* @param value
* @return
*/
public Double score(String key, String value) {
return redisTemplate.opsForZSet().score(key, value);
}
/**
* 判断value在zset中的排名 zrank
*
* @param key
* @param value
* @return
*/
public Long rank(String key, String value) {
return redisTemplate.opsForZSet().rank(key, value);
}
/**
* 返回集合的长度
*
* @param key
* @return
*/
public Long size(String key) {
return redisTemplate.opsForZSet().zCard(key);
}
/**
* 查询集合中指定顺序的值， 0 -1 表示获取全部的集合内容 zrange
*
* 返回有序的集合，score小的在前面
*
* @param key
* @param start
* @param end
* @return
*/
public Set<Object> range(String key, int start, int end) {
return redisTemplate.opsForZSet().range(key, start, end);
}
/**
* setNX
* @param key
* @param value
* @return
*/
public boolean setNx(String key,Object value){
return redisTemplate.opsForValue().setIfAbsent(key, value);
}
/**
* 设置setnx的过期时间 毫秒单位
* @param key
* @param value
* @param milliseconds
* @return
*/
public boolean setNx(String key,Object value,Long milliseconds){
return redisTemplate.opsForValue().setIfAbsent(key, value,milliseconds,TimeUnit.SECONDS);
}
public boolean setBit(String key,Long index,boolean value) {
return redisTemplate.opsForValue().setBit(key, index, value);
}
public boolean getBit(String key,Long index) {
return redisTemplate.opsForValue().getBit(key, index);
}
}
以上是自己总结的一些思路，希望能帮到一些小伙伴，不足之处或有更多的方案和思路欢迎评论
