Redis使用BitMap用户签到统计BitMap解决缓存击穿方案 及 UV(HyperLogLog) 统计页面访问量 与 独立访问量

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Redis使用BitMap用户签到统计BitMap解决缓存击穿方案 及 UV(HyperLogLog) 统计页面访问量 与 独立访问量相关的知识,希望对你有一定的参考价值。

(目录)


用户签到

1、用户签到-BitMap功能演示

我们针对签到功能完全可以通过mysql来完成比如说以下这张表

所以使用MySQL实现对数据库压力很大


如何能够简化一点呢?

Redis中是利用string类型数据结构实现BitMap,因此最大上限是512M,转换为bit则是 2^32个bit位。


BitMap的操作命令有:


2 、用户签到-实现签到功能

需求:

思路:

我们通过接口文档发现,此接口并没有传递任何的参数,没有参数怎么确实是哪一天签到呢?

代码

UserController

 @PostMapping("/sign")
 public Result sign()
    return userService.sign();
 

UserServiceImpl

@Override
public Result sign() 
    // 1.获取当前登录用户
    Long userId = UserHolder.getUser().getId();
    // 2.获取日期
    LocalDateTime now = LocalDateTime.now();
    // 3.拼接key
    String keySuffix = now.format(DateTimeFormatter.ofPattern(":yyyyMM"));
    String key = USER_SIGN_KEY + userId + keySuffix;
    // 4.获取今天是本月的第几天
    int dayOfMonth = now.getDayOfMonth();
    // 5.写入Redis SETBIT key offset 1
    stringRedisTemplate.opsForValue().setBit(key, dayOfMonth - 1, true);
    return Result.ok();

签到成功:


3、用户签到-签到统计

**问题1:**什么叫做连续签到天数

Java逻辑代码:


问题2:如何得到本月到今天为止的所有签到数据?

  BITFIELD key GET u[dayOfMonth] 0

问题3:如何从后向前遍历每个bit位?

与 1 做与运算,就能得到最后一个bit位,之后循环右移

注意:


需求:

有用户有时间我们就可以组织出对应的key,此时就能找到这个用户截止这天的所有签到记录,再根据这套算法,就能统计出来他连续签到的次数了

代码:

@GetMapping("/sign/count")
public Result signCount()
    return userService.signCount();

@Override
public Result signCount() 
    // 1.获取当前登录用户
    Long userId = UserHolder.getUser().getId();
    // 2.获取日期
    LocalDateTime now = LocalDateTime.now();
    // 3.拼接key
    String keySuffix = now.format(DateTimeFormatter.ofPattern(":yyyyMM"));
    String key = USER_SIGN_KEY + userId + keySuffix;
    // 4.获取今天是本月的第几天
    int dayOfMonth = now.getDayOfMonth();
    // 5.获取本月截止今天为止的所有的签到记录,返回的是一个十进制的数字 BITFIELD sign:5:202203 GET u14 0
    List<Long> result = stringRedisTemplate.opsForValue().bitField(
            key,
            BitFieldSubCommands.create()
                    .get(BitFieldSubCommands.BitFieldType.unsigned(dayOfMonth)).valueAt(0)
    );
    if (result == null || result.isEmpty()) 
        // 没有任何签到结果
        return Result.ok(0);
    
    Long num = result.get(0);
    if (num == null || num == 0) 
        return Result.ok(0);
    
    // 6.循环遍历
    int count = 0;
    while (true) 
        // 6.1.让这个数字与1做与运算,得到数字的最后一个bit位  // 判断这个bit位是否为0
        if ((num & 1) == 0) 
            // 如果为0,说明未签到,结束
            break;
        else 
            // 如果不为0,说明已签到,计数器+1
            count++;
        
        // 把数字右移一位,抛弃最后一个bit位,继续下一个bit位
        num >>>= 1;
    
    return Result.ok(count);


4、关于使用bitmap来解决缓存穿透的方案

回顾缓存穿透

发起了一个数据库不存在的,redis里边也不存在的数据,通常你可以把他看成一个攻击

解决方案:

所以我们如何解决呢?

现在的问题是这个主键其实并没有那么短,而是很长的一个 主键

哪怕你单独去提取这个主键,但是在11年左右,淘宝的商品总量就已经超过10亿个

所以如果采用以上方案,这个list也会很大,所以我们可以使用bitmap来减少list的存储空间

我们可以把list数据抽象成一个非常大的bitmap,我们不再使用list,而是将db中的id数据利用哈希思想,比如:


UV统计

1、UV统计-HyperLogLog

首先我们搞懂两个概念:

通常来说UV会比PV大很多,所以衡量同一个网站的访问量,我们需要综合考虑很多因素,所以我们只是单纯的把这两个值作为一个参考值

UV统计在服务端做会比较麻烦,因为要判断该用户是否已经统计过了,需要将统计过的用户信息保存。但是如果每个访问的用户都保存到Redis中,数据量会非常恐怖,那怎么处理呢?


2、UV统计-测试百万数据的统计

测试思路:

经过测试:我们会发生他的误差是在允许范围内,并且内存占用极小


以上是关于Redis使用BitMap用户签到统计BitMap解决缓存击穿方案 及 UV(HyperLogLog) 统计页面访问量 与 独立访问量的主要内容,如果未能解决你的问题,请参考以下文章

328请教一个Redis bitmap做签到功能的问题。 统计近7天连续签到用户数,bitop+bitcount是怎么用的?

使用redis的BitMap使用入门;统计签到

Redis 实战篇:巧用Bitmap 实现亿级海量数据统计

Redis进阶学习05---Feed流,GEO地理坐标的应用,bitmap的应用,HyperLogLog实现UV统计

REDIS08_bitmap的概述用途setbitgetbitbigcountbittopstrlen命令使用

REDIS08_bitmap的概述用途setbitgetbitbigcountbittopstrlen命令使用