Redis入门(3): 数据新类型（BitmapsHyperLogLog，GeoSpatial），Jredis，springboot与redis的整合

其他 2021-11-20 02:02:09 阅读次数: 0

Redis新数据类型

Bitmaps

简介

现代计算机用二进制（位） 作为信息的基础单位， 1个字节等于8位， 例如“abc”字符串是由3个字节组成， 但实际在计算机存储时将其用二进制表示， “abc”分别对应的ASCII码分别是 97、 98、 99， 对应的二进制分别是01100001、 01100010和01100011，如下图
在这里插入图片描述

合理地使用操作位能够有效地提高内存使用率和开发效率。Redis提供了Bitmaps这个“数据类型”可以实现对位的操作：

  • （1） Bitmaps 本身不是一种数据类型， 实际上它就是字符串（key-value） ， 但是它可以对字符串的位进行操作。
  • （2） Bitmaps单独提供了一套命令， 所以在Redis中使用Bitmaps和使用字符串的方法不太相同。 可以把Bitmaps想象成一个以位为单位的数组， 数组的每个单元只能存储0和1， 数组的下标在Bitmaps中叫做偏移量。
    在这里插入图片描述

命令

1、setbit

  • 格式 setbit<key><offset><value> : 设置Bitmaps中某个偏移量的值（0或1）
    *offset:偏移量从0开始
  • 实例
    • 每个独立用户是否访问过网站存放在Bitmaps中， 将访问的用户记做1， 没有访问的用户记做0， 用偏移量作为用户的id。
    • 设置键的第offset个位的值（从0算起） ， 假设现在有20个用户，userid=1， 6， 11， 15， 19的用户对网站进行了访问， 那么当前Bitmaps初始化结果如图
      在这里插入图片描述
  • 可以使用 unique:users: 20201106 来作为 Bitmaps 的key值，代表 2020-11-06 这天的独立访问用户的 Bitmaps
    在这里插入图片描述

注：

  • 很多应用的用户id以一个指定数字（例如10000） 开头， 直接将用户id和Bitmaps的偏移量对应势必会造成一定的浪费， 通常的做法是每次做setbit操作时将用户id减去这个指定数字。
  • 在第一次初始化Bitmaps时， 假如偏移量非常大， 那么整个初始化过程执行会比较慢， 可能会造成Redis的阻塞。

2、getbit

  • 格式getbit<key><offset> 获取Bitmaps中某个偏移量的值
    获取键的第offset位的值（从0开始算）
  • 实例
    获取id=8的用户是否在2020-11-06这天访问过， 返回0说明没有访问过：
    在这里插入图片描述
    注：因为100根本不存在，所以也是返回0

3、bitcount

  • 统计字符串被设置为 1 的 bit 数。

  • 一般情况下，给定的整个字符串都会被进行计数，通过指定额外的 start 或 end 参数，可以让计数只在特定的位上进行。

  • start 和 end 参数的设置，都可以使用负数值：比如 -1 表示最后一个位，而 -2 表示倒数第二个位，start、end 是指bit组的字节的下标数，二者皆包含。

  • 格式
    bitcount<key>[start end] 统计字符串从start字节到end字节比特值为1的数量

  • 实例
    计算 2022-11-06 这天的独立访问用户数量
    在这里插入图片描述
    start 和 end 代表起始和结束字节数， 下面操作计算用户 id在第1个字节到第3个字节之间的独立访问用户数:
    在这里插入图片描述
    上面这三个用户，对应的用户id是11， 15， 19。（其他用户都为未访问过）用户的 id=0和3是在第 0个字节中。

  • 下标详解：

    • K1=【01000001 01000000 00000000 00100001】，对应下标为 【0，1，2，3】
    • bitcount K1 1 2 ： 统计下标1、2字节组中bit=1的个数，即 01000000 00000000 所以 count 为 1
    • bitcount K1 1 3 ： 统计下标1、2，3字节组中bit=1的个数，即01000000 00000000 00100001 ，所以count=3
    • bitcount K1 0 -2 ： 统计下标0到下标倒数第2，字节组0,1,2中bit=1的个数，即01000001 01000000 00000000,所以count=3。

  • 注意：redis的setbit设置或清除的是bit位置，而bitcount计算的是byte位置。

4、bitop

  • 格式

     bitop  and(or/not/xor) <destkey> [key…]

    bitop是一个复合操作， 它可以做多个Bitmaps的and（交集） 、 or（并集） 、 not（非） 、 xor（异或） 操作并将结果保存在destkey中。

  • 实例
    2020-11-04 日访问网站的userid=1,2,5,9。

    setbit unique:users:20201104 1 1
setbit unique:users:20201104 2 1
setbit unique:users:20201104 5 1
setbit unique:users:20201104 9 1

    2020-11-03 日访问网站的userid=0,1,4,9。

    setbit unique:users:20201103 0 1
setbit unique:users:20201103 1 1
setbit unique:users:20201103 4 1
setbit unique:users:20201103 9 1

  • 计算出两天都访问过网站的用户数量

    bitop and unique:users:and:20201104_03#指定结果存储的key
unique:users:20201103 unique:users:20201104# 指定被操作数

    结果如下：
    在这里插入图片描述

  • 当然，也可以计算出任意一天都访问过网站的用户数量（例如月活跃就是类似这种） ， 这可以使用 or求并集。
    在这里插入图片描述

Bitmaps与set对比

  • 假设网站有1亿用户， 每天独立访问的用户有5千万， 如果每天用集合类型和 Bitmaps分别存储活跃用户可以得到如下的内容：
    在这里插入图片描述

  • 很明显， 这种情况下使用Bitmaps能节省很多的内存空间， 尤其是随着时间推移节省的内存还是非常可观的set和Bitmaps存储独立用户空间对比
    在这里插入图片描述

  • 但Bitmaps并不是万金油， 假如该网站每天的独立访问用户很少， 例如只有10万（大量的僵尸用户） ， 那么两者的对比如下表所示， 很显然，这时候使用Bitmaps就不太合适了， 因为基本上大部分位都是0。
    在这里插入图片描述

HyperLogLog

简介

背景

  • 在工作当中，我们经常会遇到与统计相关的功能需求，比如统计网站PV（PageView）页面访问量,可以使用Redis的incr（自增）、incrby轻松实现。
  • 但像UV（UniqueVisitor，独立访客）、独立IP数、搜索记录数等需要去重和计数的问题如何解决？这种求集合中不重复元素个数的问题称为基数问题。
    解决基数问题有很多种方案：
    • （1）数据存储在MySQL表中，使用 distinct count 计算不重复个数
    • （2）使用Redis提供的 hash、set、bitmaps 等数据结构来处理
  • 以上的方案结果精确，但随着数据不断增加，导致占用空间越来越大，对于非常大的数据集是不切实际的。
  • 能否能够降低一定的精度来平衡存储空间？Redis推出了 HyperLogLog

概念

  • HyperLogLog 是用来做基数统计的算法
  • 底层是桶排序的思想，内部维护了16384个桶来记录各自桶的元素数量，当一个元素过来，它会散列到其中一个桶。
  • HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。
  • 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。
  • 但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。

什么是基数?

比如数据集 {1, 3, 5, 7, 5, 7, 8}， 那么这个数据集的基数集为 {1, 3, 5 ,7, 8}, 基数(不重复元素)为5。 基数估计就是在误差可接受的范围内，快速计算基数。

命令

1、pfadd

  • 格式
    pfadd <key>< element> [element ...] 添加指定元素到HyperLogLog 中
  • 实例
    将所有元素添加到指定 HyperLogLog 数据结构中。如果执行命令后HLL估计的近似基数发生变化，则返回1(true)，否则返回0。
    在这里插入图片描述

2、pfcount

  • 格式 :
    pfcount<key> [key ...]计算HLL的近似基数，可以计算多个HLL，比如用HLL存储每天的UV，计算一周的UV可以使用7天的UV合并计算即可

  • 实例：
    在这里插入图片描述

3、pfmerge

  • 格式：pfmerge<destkey><sourcekey> [sourcekey ...]
    将一个或多个HLL合并后的结果存储在另一个HLL中，比如每月活跃用户可以使用每天的活跃用户来合并计算可得。并集取出后的结果存储到 hill3 中。
  • 实例
    在这里插入图片描述

Geospatial

简介

  • Redis 3.2 中增加了对GEO类型的支持。
  • GEO，Geographic，地理信息的缩写。该类型，就是元素的2维坐标，在地图上就是经纬度。
  • redis基于该类型，提供了经纬度设置，查询，范围查询，距离查询，经纬度Hash等常见操作。

命令

1、geoadd

  • 格式
    geoadd<key>< longitude><latitude><member> [longitude latitude member...] 添加地理位置（经度，纬度，名称）

  • 实例

    geoadd china:city 121.47 31.23 shanghai
geoadd china:city 106.50 29.53 chongqing 114.05 22.52 shenzhen 116.38 39.90 beijing

    在这里插入图片描述

    • 经纬度一般不会直接添加，会下载城市数据，直接通过 Java 程序一次性导入。
    • 有效的经度从 -180 度到 180 度。有效的纬度从 -85.05112878 度到 85.05112878 度。
    • 当坐标位置超出指定范围时，该命令将会返回一个错误。
    • 已经添加的数据，是无法再次往里面添加的。

2、geopos

  • 格式
    geopos <key><member> [member...] 获得指定地区的坐标值
  • 实例
    在这里插入图片描述

3、geodist

  • 格式
    geodist<key><member1><member2> [m|km|ft|mi ] 获取两个位置之间的直线距离

  • 实例
    获取两个位置之间的直线距离
    在这里插入图片描述

    单位：

    • m 表示单位为米[默认值]。
    • km 表示单位为千米。
    • mi 表示单位为英里。
    • ft 表示单位为英尺。
      如果用户没有显式地指定单位参数， 那么 GEODIST 默认使用米作为单位

4、georadius

  • 格式
    georadius<key>< longitude><latitude>radius m|km|ft|mi以给定的经纬度为中心，找出某一半径内的元素
    参数：经度 纬度 距离 单位
  • 实例
    在这里插入图片描述

Jedis

入门案例请查看 《番外篇》

相关API

  • Key 相关参数的测试：

    jedis.set("k1", "v1");
jedis.set("k2", "v2");
jedis.set("k3", "v3");
Set<String> keys = jedis.keys("*");
System.out.println(keys.size());
for (String key : keys) {
      
      
System.out.println(key);
}
System.out.println(jedis.exists("k1"));
System.out.println(jedis.ttl("k1"));                
System.out.println(jedis.get("k1"));

  • String 相关参数测试：

    jedis.mset("str1","v1","str2","v2","str3","v3");
System.out.println(jedis.mget("str1","str2","str3"));

  • list 相关参数测试：

    List<String> list = jedis.lrange("mylist",0,-1);
for (String element : list) {
      
      
System.out.println(element);
}

  • set 相关参数设置

    jedis.sadd("orders", "order01");
jedis.sadd("orders", "order02");
jedis.sadd("orders", "order03");
jedis.sadd("orders", "order04");
Set<String> smembers = jedis.smembers("orders");
for (String order : smembers) {
      
      
System.out.println(order);
}
jedis.srem("orders", "order02");

  • Zset 相关参数测试：

    jedis.hset("hash1","userName","lisi");
System.out.println(jedis.hget("hash1","userName"));
Map<String,String> map = new HashMap<String,String>();
map.put("telphone","13810169999");
map.put("address","atguigu");
map.put("email","[email protected]");
jedis.hmset("hash2",map);
List<String> result = jedis.hmget("hash2", "telphone","email");
for (String element : result) {
      
      
	System.out.println(element);
}

redis 完成手机

需求： 完成一个手机验证码功能

  • 1、输入手机号，点击发送后随机生成6位数字码，2分钟有效
  • 2、输入验证码，点击验证，返回成功或失败
  • 3、每个手机号每天只能输入3次
    在这里插入图片描述

具体思路

  • 1、利用 random 随机生成 6 位数字验证码
  • 2、把验证码放如到 redis中，设置过期时间为120秒（2min有效）
  • 3、验证验证码是否一致：从 redis 中获取验证码和输入的验证码进行比较
  • 4、每个手机每天只能发三次：利用incr 每次发送+1，大于3 的时候就不发送了。

代码

  • 1、利用 random 随机生成 6 位数字验证码

    public static String getCode(){
      
      
    Random random = new Random();
    String code="";
    for(int i=0;i<6;i++){
      
      
        int rand = random.nextInt(10);
        code+=rand;
    }
    return  code;
}

  • 2、获取并且保存验证码，再次过程中需要先对当前的次数进行验证

    // 如果用户已经要来三次code了，则直接返回。
// 否则，将code的有效时间设置为120秒并且存入redis中
public  static  String Get_and_saveCode(String phone){
      
      
    //因此需要两个 key：一个用来存验证码，一个用来存当前phone请求次数
    String codekey = "Verify"+phone+":code";
    String countkey = "Verify"+phone+":count";
    //保证每天只能进行三次验证
    //1. 连接jredis
    Jedis jedis = new Jedis("xxxxx",6379);
    jedis.auth("xxxx");
    //2. 尝试取出当前次数
    String count =  jedis.get(countkey);
    if(count==null){
      
      
        //将计数器放入redis中
        //第二个参数为有效时间，相当于第二天后，就又可以重新获取验证码了
        jedis.setex(countkey,24*60*60, "1");

    }else {
      
      
        if(Integer.parseInt(count)<=3){
      
      
            //利用icre自增
            jedis.incr(countkey);
        }else {
      
      
            System.out.println("发送失败，今天的三次机会已经用完");
            return null;
        }
    }

    // 将当前code 存入redis中
    String code = getCode();
    //为了方便观察，这里我们只设置 有效时间 45 秒
    jedis.setex(codekey,2*60,code);
    jedis.close();
    return  code;

}

  • 3、模拟用户输入验证码，并且与redis中进行对比

    public  static  void verifyCode(String ourcode,String phone){
      
      
    String codekey = "Verify"+phone+":code";
    String countkey = "Verify"+phone+":count";
    //1. 连接jredis
    Jedis jedis = new Jedis("xxxx",6379);
    jedis.auth("xxxx");

    String code = jedis.get(codekey);
    if (code==null){
      
      
        System.out.println("当前验证码已经过期");
    }else {
      
      
        if(code.equals(ourcode)){
      
      
            System.out.println("验证成功，验证码相同");
        }
        else{
      
      
            System.out.println("验证失败~~");
            System.out.println("redis中的验证码为："+code+"---你的验证码为"+ourcode);
        }
    }
}

  • 4、 主函数的编写：

    public static void main(String[] args) throws InterruptedException {
      
      
    //验证验证码是否正确以及 有效时间
    System.out.println("============= 第一次 要求发送验证码！================");
    String real_code = Get_and_saveCode("phone2");
    System.out.println("=============发送成功，当前redis验证码为"+real_code+"=============" );
    System.out.println("=============随便输入一个验证码:=============");
    verifyCode("213","phone2");
    System.out.println("=============输入正确验证码:=============");
    verifyCode(real_code,"phone2");
    System.out.println("=============等待2分钟，再输入争取验证码:=============");
    Thread.sleep(1000*60*2);
    verifyCode(real_code,"phone2");

    //验证一天三次
    System.out.println("============= 第二次 要求发送验证码！================");
    real_code = Get_and_saveCode("phone2");
    System.out.println("============= 第三次 要求发送验证码！================");
    real_code = Get_and_saveCode("phone2");
}
    System.out.println("============= 第四次 要求发送验证码！================");
    real_code = Get_and_saveCode("phone2");

  • 5：结果如下所示：
    在这里插入图片描述

Springboot 与 Jedis 整合

整合步骤

  • 1、 在 pom.xml 文件中引入 redis 相关依赖

    <!-- redis -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

<!-- spring2.X集成redis所需common-pool2-->
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-pool2</artifactId>
<version>2.6.0</version>
</dependency>

  • 2、application.properties 编写 redis 所需配置

    #Redis服务器地址
spring.redis.host=192.168.140.136
#Redis服务器连接端口
spring.redis.port=6379
#Redis数据库索引（默认为0）
spring.redis.database= 0
#连接超时时间（毫秒）
spring.redis.timeout=1800000
#连接池最大连接数（使用负值表示没有限制）
spring.redis.lettuce.pool.max-active=20
#最大阻塞等待时间(负数表示没限制)
spring.redis.lettuce.pool.max-wait=-1
#连接池中的最大空闲连接
spring.redis.lettuce.pool.max-idle=5
#连接池中的最小空闲连接
spring.redis.lettuce.pool.min-idle=0

  • 3、编写配置类，创建RedisConfig：RedisConfig类用于Redis数据缓存。有了这个类之后spring会自动注入一个 redisTemplate 类用于redis的相关操作。

    @EnableCaching
@Configuration
public class RedisConfig extends CachingConfigurerSupport {
      
      

    @Bean
    public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory factory) {
      
      
        RedisTemplate<String, Object> template = new RedisTemplate<>();
        RedisSerializer<String> redisSerializer = new StringRedisSerializer();
        Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
        ObjectMapper om = new ObjectMapper();
        om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
        om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
        jackson2JsonRedisSerializer.setObjectMapper(om);
        template.setConnectionFactory(factory);
		//key序列化方式
        template.setKeySerializer(redisSerializer);
		//value序列化
        template.setValueSerializer(jackson2JsonRedisSerializer);
		//value hashmap序列化
        template.setHashValueSerializer(jackson2JsonRedisSerializer);
        return template;
    }

    @Bean
    public CacheManager cacheManager(RedisConnectionFactory factory) {
      
      
        RedisSerializer<String> redisSerializer = new StringRedisSerializer();
        Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
		//解决查询缓存转换异常的问题
        ObjectMapper om = new ObjectMapper();
        om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
        om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
        jackson2JsonRedisSerializer.setObjectMapper(om);
		// 配置序列化（解决乱码的问题）,过期时间600秒
        RedisCacheConfiguration config = RedisCacheConfiguration.defaultCacheConfig()
                .entryTtl(Duration.ofSeconds(600))
                .serializeKeysWith(RedisSerializationContext.SerializationPair.fromSerializer(redisSerializer))
                .serializeValuesWith(RedisSerializationContext.SerializationPair.fromSerializer(jackson2JsonRedisSerializer))
                .disableCachingNullValues();
        RedisCacheManager cacheManager = RedisCacheManager.builder(factory)
                .cacheDefaults(config)
                .build();
        return cacheManager;
    }
}

  • 测试如下：

    @RestController
@RequestMapping("/redisTest")
public class RedisTestController {
      
      
    @Autowired
    private RedisTemplate redisTemplate;

    @GetMapping
    public String testRedis() {
      
      
        //设置值到redis
        redisTemplate.opsForValue().set("name","lucy");
        //从redis获取值
        String name = (String)redisTemplate.opsForValue().get("name");
        return name;
    }
}

猜你喜欢

转载自blog.csdn.net/Mr_tianyanxiaobai/article/details/119945710
今日推荐
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
报告：Django 仍然是 74% 开发者的首选
《2024 年一季度互联网投融资运行情况》研究报告
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
周排行
BPM为企业带来的实际利益
好程序员web前端分享css常用属性缩写
Java文件下载（excel）
css样式的动态添加及显示和隐藏等零碎用法
axios全局配置以及拦截器
使用Logstash来实时同步MySQL和log日志数据到ES
C++获取当前时间（年月日、时分秒、毫秒）
Odoo产品分析 (四) -- 工具板块(11) -- 网站即时聊天(1)
Java环境配置正确，但是java、javac、java -version均返回“不是内部或外部命令，也不是可运行的程序或批处理文件”？
01 官网下载各种CentOS教程（超详细版）
每日归档
更多
2024-05-14(0)
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022