REDIS11_布隆过滤器BloomFilter的概述优缺点使用场景底层原理布谷鸟过滤器

Posted 所得皆惊喜

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了REDIS11_布隆过滤器BloomFilter的概述优缺点使用场景底层原理布谷鸟过滤器相关的知识,希望对你有一定的参考价值。

文章目录

①. 布隆过滤器BloomFilter的概述

  • ①. 它实际上是一个很长的二进制数组(初始值为0的bit数组)+一系列随机hash算法映射函数,主要用于判断一个元素是否在集合中

  • ②. 本质就是判断具体数据存不存在一个大的集合中,布隆过滤器误判率

  • ③. 是否存在(有,是很可能有、无,是肯定无)
    (可以保证的是,如果布隆过滤器判断一个元素不在一个集合中,那这个元素一定不会在集合中)

  • ④. 使用时最好不要让实际元素数量远大于初始化数量

  • ⑤. 当实际元素数量超过初始化数量时,应该对布隆过滤器进行重建,重新分配一个 size更大的过滤器,再将所有的历史元素批量add进行

②. 布隆过滤器优缺点

  • ①. 优点:高效地插入和查询,占用空间少

  • ②. 缺点

  1. 不能删除元素。
    (因为删掉元素会导致误判率增加,因为hash冲突同一个位置可能存的东西是多个共有的,你删除一个元素的同时可能也把其它的删除了)
  2. 存在误判(不同的数据可能出来相同的hash值)

③. 布隆过滤器的使用场景

  • ①. 解决缓存穿透的问题
  1. 缓存穿透是什么
    一般情况下,先查询缓存redis是否有该条数据,缓存中没有时,再查询数据库
    当数据库也不存在该条数据时,每次查询都要访问数据库,这就是缓存穿透。
    缓存透带来的问题是,当有大量请求查询数据库不存在的数据时,就会给数据库带来压力,甚至会拖垮数据库
  2. 可以使用布隆过滤器解决缓存穿透的问题
    把已存在数据的key存在布隆过滤器中,相当于redis前面挡着一个布隆过滤器。
    当有新的请求时,先到布隆过滤器中查询是否存在:
    如果布隆过滤器中不存在该条数据则直接返回;
    如果布隆过滤器中已存在,才去查询缓存redis,如果redis里没查询到则穿透到mysql数据库
  • ②. 黑名单校验
  1. 发现存在黑名单中的,就执行特定操作。比如:识别垃圾邮件,只要是邮箱在黑名单中的邮件,就识别为垃圾邮件
  2. 假设黑名单的数量是数以亿计的,存放起来就是非常耗费存储空间的,布隆过滤器则是一个较好的解决方案
  3. 把所有黑名单都放在布隆过滤器中,在收到邮件时,判断邮件地址是否在布隆过滤器中即可

④. 布隆过滤器原理

  • ①. 对象是无穷的,hashCode方法的方法返回值是int,把无穷的对象放入到hashCode中,就会导致不同的对象有相同的hashCode值
 
public class HashCodeConflictDemo
    public static void main(String[] args)
        Set<Integer> hashCodeSet = new HashSet<>();

        for (int i = 0; i <200000; i++) 
            int hashCode = new Object().hashCode();
            if(hashCodeSet.contains(hashCode)) 
                System.out.println("出现了重复的hashcode: "+hashCode+"\\t 运行到"+i);
                break;
            
            hashCodeSet.add(hashCode);
        
		System.out.println("Aa".hashCode());
		System.out.println("BB".hashCode());
		System.out.println("柳柴".hashCode());
		System.out.println("柴柕".hashCode());
    

  • ②. 布隆过滤器实现原理和数据结构
    布隆过滤器(Bloom Filter) 是一种专门用来解决去重问题的高级数据结构。
    实质就是一个大型位数组和几个不同的无偏hash函数(无偏表示分布均匀)。由一个初值都为零的bit数组和多个个哈希函数构成,用来快速判断某个数据是否存在。但是跟 HyperLogLog一样,它也一样有那么一点点不精确,也存在一定的误判概率

  • ③. 添加key时
    使用多个hash函数对key进行hash运算得到一个整数索引值,对位数组长度进行取模运算得到一个位置,每个hash函数都会得到一个不同的位置,将这几个位置都置1就完成了add操作

  • ④. 查询key时
    只要有其中一位是零就表示这个key不存在,但如果都是1,则不一定存在对应的key
    结论:有,是可能有,无,是肯定无

进一步解释:
(1). 当有变量被加入集合时,通过N个映射函数将这个变量映射成位图中的N个点,把它们置为1(假定有两个变量都通过3个映射函数)

(2). 查询某个变量的时候我们只要看看这些点是不是都是1, 就可以大概率知道集合中有没有它了。
如果这些点,有任何一个为零则被查询变量一定不在,如果都是 1,则被查询变量很可能存在
为什么说是可能存在,而不是一定存在呢?那是因为映射函数本身就是散列函数,散列函数是会有碰撞的

  • ⑤. 再次详解初始化、添加、判断是否存在

步骤如下:
(1). 初始化:布隆过滤器 本质上是由长度为m的位向量或位列表(仅包含0或1位值的列表)组成,最初所有的值均设置为0
(2). 添加
当我们向布隆过滤器中添加数据时,为了尽量地址不冲突,会使用多个hash函数对key进行运算,算得一个下标索引值,然后对位数组长度进行取模运算得到一个位置,每个hash函数都会算得一个不同的位置。再把位数组的这几个位置都置为1就完成了add操作
例如,我们添加一个字符串wmyskxz
(3). 判断是否存在
向布隆过滤器查询某个key是否存在时,先把这个key通过相同的多个hash函数进行运算,查看对应的位置是否都为1,
只要有一个位为0,那么说明布隆过滤器中这个key不存在
如果这几个位置全都是1,那么说明极有可能存在

因为这些位置的1可能是因为其他的key存在导致的,也就是前面说过的hash冲突
就比如我们在add了字符串wmyskxz数据之后,很明显下面1/3/5这几个位置的1是因为第一次添加的 wmyskxz 而导致的此时我们查询一个没添加过的不存在的字符串inexistent-key,它有可能计算后坑位也是1/3/5 ,这就是误判了

  • ⑥. 布隆过滤器有误判率,为什么不要删除?
  1. 布隆过滤器的误判是指多个输入经过哈希之后在相同的bit位置1了,这样就无法判断究竟是哪个输入产生的,因此误判的根源在于相同的 bit 位被多次映射且置1
  2. 这种情况也造成了布隆过滤器的删除问题,因为布隆过滤器的每一个 bit 并不是独占的,很有可能多个元素共享了某一位
  3. 如果我们直接删除这一位的话,会影响其他的元素
  4. 特性:
    一个元素判断结果为没有时则一定没有,如果判断结果为存在的时候元素不一定存在
    布隆过滤器可以添加元素,但是不能删除元素。因为删掉元素会导致误判率增加

⑤. 布谷鸟过滤器(了解)

  • ①. 为了解决布隆过滤器不能删除元素的问题,布谷鸟过滤器横空出世。论文《Cuckoo Filter:Better Than Bloom》

  • ②. 作者将布谷鸟过滤器和布隆过滤器进行了深入的对比。相比布谷鸟过滤器而言布隆过滤器有以下不足:
    查询性能弱、空间利用效率低、不支持反向操作(删除)以及不支持计数

以上是关于REDIS11_布隆过滤器BloomFilter的概述优缺点使用场景底层原理布谷鸟过滤器的主要内容,如果未能解决你的问题,请参考以下文章

REDIS07_布隆过滤器BloomFilter的概述优缺点使用场景底层原理布谷鸟过滤器

REDIS07_布隆过滤器BloomFilter的概述优缺点使用场景底层原理布谷鸟过滤器

布隆过滤器 - Redis 布隆过滤器,Guava 布隆过滤器 BloomFilter

Redis 高级主题之布隆过滤器(BloomFilter)

Redis 之布隆过滤器(BloomFilter)

第三百五十八节,Python分布式爬虫打造搜索引擎Scrapy精讲—将bloomfilter(布隆过滤器)集成到scrapy-redis中