从另一个角度看大数据量处理利器 布隆过滤器

Posted 2021-02-10 kwincaq

  思路：从简单的排序谈到BitMap算法，再谈到数据去重问题，谈到大数据量处理利器：布隆过滤器。

情景1：对无重复的数据进行排序

@给定数据（2，4，1，12，9，7，6）如何对它排序？

     方法1：基本的排序方法包括冒泡，快排等。

     方法2：使用BitMap算法

     方法1就不介绍了，方法2中所谓的BitMap是一个位数组，跟平时使用的数组的唯一差别在于操作的是位。

首先是开辟2个字节大小的位数组，长度为16（该长度由上述数据中最大的数字12决定的）如图

 
      然后，读取数据，2存放在位数组中下标为1的地方，值从0改为1，4存放在下标为3的地方，值从0改为1....结果如图

   

      最后，读取该位数组，得到排好序的数据是：（1，2，4，6，7，9，12）

 

      比较方法1和方法2的差别：方法2中，排序需要的时间复杂度和空间复杂度很依赖与数据中最大的数字比如12，因此空间上讲需要开2个字节大小的内存，时间上需要遍历完整个数组。当数据类似（1，1000，10万）只有3个数据的时候，显然用方法2，时间复杂度和空间复杂度相当大，但是当数据比较密集时该方法就会显示出来优势。

情景2：对有重复的数据进行判重

   数据（2，4，1，12，2，9，7，6，1，4）如何找出重复出现的数字？

       首先是开辟2个字节大小的位数组，长度为16（该长度由上述数据中最大的数字12决定的）如图

 

   

      当读取完12后，数组中的数据如下图：

      当读取2的时候，发现数组中的值是1，则判断出2是重复出现的。

应用

      应用1：某文件中包含一些8位的电话号码，统计出现的号码的个数？（判断有谁出现）

      8为最大是99 999 999，大约是99M的bit，12.5MB的内存，就可以统计出来出现的号码。

 

      应用2：某文件中包含一些8位的电话号码，统计只出现一次的号码？（判断有谁出现并且指出现1次）

      需要扩展一下，可以用两个bit表示一个号码，0代表没有出现过，1代表只出现过1次，2代表至少出现2次。 

 

      应用3：有两个文件，文件1中有1亿个10位的qq号码，文件2中有5千万个10位qq号码，判断两个文件中重复出现的qq号。

     首先建立10的10次方个大小的位数组（占用内存大约是1.25G），全部初始化为0，读取第一个文件，对应的qq号存放到对应的未知，数值改为1，如果重复出现仍是1.读取完毕第一个文件后，读取第二个文件，对应的位置为1则表示重复出现。

 

     应用4：有两个文件，文件1中有1亿个15位的qq号码，文件2中有5千万个15位的qq号码，判断两个文件中重复出现的qq号。 

 

    应用4中，qq号码上升为15位的时候，显然内存是不够用了，这个时候怎么办？使用Bloom Filter（布隆过滤器）

 

Bloom Filter（布隆过滤器）：

      对于Bit-Map分析一下，每次都会开辟一块表示最大数值大小的bit数组，比如情景1中的16，将对应的数据经过映射到bit数组的下标，这其实是一种最简单的hash算法，对1去模。在上述应用4中，当qq号码改为15位的时候，Bit-Map就不太好用了，如何改进呢？解决办法：减少bit数组的长度，但是增加hash函数的个数

对于每一个qq号码，我用K个hash函数，经过k次映射，得到k个不同位置，假设k=3，那么对于一个qq号码，映射到位数组中3个不同的位置

 

当读取第二个包含5千万个qq号码的文件的时候，使用同样的3个hash函数进行映射，当3个位置全部是1的时候才表示出现过，否则表示没有出现过。

有什么疑问吗？

      显然，对于一个qq号码，如果它在第一个文件中没有出现过，但是它映射的3个位置已经全部是1的情况会有吗？答案是会的，但是这种概率是可控的，可控的意思是：这种误差跟hash函数的个数和质量是有关系的，可以通过控制hash函数的个数和位数组的大小来控制误差概率。至于表示3者之间的关系精确的数学公式就不再详细研究了。

可以这样讲，布隆过滤器是Bit-Map的进一步扩展，对于大数据量判重，布隆过滤器可以在内存中进行判断，避免了对磁盘的读写，效率是很高的。以上是自己关于两者的理解，有错误望指教。

再分享一下我老师大神的人工智能教程吧。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到我们人工智能的队伍中来！https://blog.csdn.net/jiangjunshow