AMQ(approximate membership queries)介绍

Posted 范加索尔拉

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了AMQ(approximate membership queries)介绍相关的知识,希望对你有一定的参考价值。

简介

AMQ(approximate membership queries近似成员查询):

  • 是一种字典数据结构
  • 是在空间使用查询错误率的权衡
  • 用于解决大量数据的处理
  • 拥有以下操作
    • 查找
    • 插入
    • 可选择元素的删除
  • 设e误检率,当查询时报出absent值时,e的概率为误检,1-e的概率为确实没有该元素。
  • 可以通过调整e值来调整准确度和空间使用的关系

举例

Bloom Filter

Bloom filter

  • Bloom Filter(BF)是一种空间效率很高的随机数据结构,它利用位数组很简洁地表示一个集合
  • 历史:Bloom-Filter,即布隆过滤器,1970年由Bloom中提出。
  • 应用:用于检索一个元素是否在一个集合中。
  • 特点:Bloom Filter有可能会出现错误判断,但不会漏掉判断。
  • 适用场景:Bloom Filter”不适合那些“零错误的应用场合。而在能容忍低错误率的应用场合下,Bloom Filter比其他常见的算法(如hash,折半查找)极大节省了空间。
  • 优点:是空间效率和查询时间都远远超过一般的算法,
  • 缺点:是有一定的误识别率和删除困难。

算法过程

  • 原理要点:一是位数组, 二是k个独立hash函数。

1)位数组:

  • 假设Bloom Filter使用一个m比特的数组来保存信息,初始状态时,Bloom Filter是一个包含m位的位数组,每一位都置为0,即BF整个数组的元素都设置为0。

2)添加元素,k个独立hash函数

  • 为了表达S={x1, x2,…,xn}这样一个n个元素的集合,Bloom Filter使用k个相互独立的哈希函数(Hash Function),它们分别将集合中的每个元素映射到{1,…,m}的范围中。

  • 当我们往Bloom Filter中增加任意一个元素x时候,我们使用k个哈希函数得到k个哈希值,然后将数组中对应的比特位设置为1。即第i个哈希函数映射的位置hashi(x)就会被置为1(1≤i≤k)。

  • 注意,如果一个位置多次被置为1,那么只有第一次会起作用,后面几次将没有任何效果。在下图中,k=3,且有两个哈希函数选中同一个位置(从左边数第五位,即第二个“1“处)。

3)判断元素是否存在集合

  • 在判断y是否属于这个集合时,我们只需要对y使用k个哈希函数得到k个哈希值,如果所有hashi(y)的位置都是1(1≤i≤k),即k个位置都被设置为1了,那么我们就认为y是集合中的元素,否则就认为y不是集合中的元素。下图中y1就不是集合中的元素(因为y1有一处指向了“0”位)。y2或者属于这个集合,或者刚好是一个false positive。

  • 显然这个判断并不保证查找的结果是100%正确的。

  • 更多详细信息

Quotient Filter and Cascade Filter

  • Quitient Filter 和Cascade Filter算法由Bender等人设计,是一个空间效率高的概率性数据结构
  • 应用:用于检索一个元素是否在一个集合中。
  • 优点:对插入、查询、删除操作由高吞吐量,比Bloom Filter高了两个数量级。
  • 更多详情见[3][4]

参考文献

[1] https://www.cnblogs.com/zhxshseu/p/5289871.html
[2] https://en.wikipedia.org/wiki/Bloom_filter
[3] https://en.wikipedia.org/wiki/Quotient_filter
[4] Don’t Thrash: How to Cache your Hash on Flash

以上是关于AMQ(approximate membership queries)介绍的主要内容,如果未能解决你的问题,请参考以下文章

核逼近(Kernel Approximation)

AMQ5540, AMQ5541 and AMQ5542, application did not supply a user ID and password, 2035 MQRC_NOT_AUTHO

AMQ之安装,启动,访问

斯特林公式 (Stirling's approximation)

OpenCASCADE Interpolations and Approximations

poj 3464(Trie)Approximations