MLlearning——simHash算法

Posted 2020-06-14

　　这篇文章主要讲simHash算法。这是一种LSH（Locality-Sensitive Hashing，局部敏感哈希）的简单实现。它是广泛用于数据去重的算法，可以用于相似网站、图片的检索。而且当两个样本差别并不大时，算法仍能起效。值得一提的是，该算法的时空复杂度不存在与维度有关的项，所以不会遭遇维度灾难，也可以在维数较高时优化kNN算法。

特征

　　此算法（LSH）具有双重性，它们似乎是相悖的：

• 对于几组不同的特征，hash相同（即冲突）的可能性要尽可能小。这也是hash基本的特征。
• 对于几组相似的特征（即特征空间中距离小）的特征，hash相同或相似的可能性要尽可能大。这是LSH所具有的特征。

simHash实现

　　simHash是LSH的其中一种对于字符串的简单实现。操作步骤如下：

• 定义一个数代表hash，数的二进制位数可选，一般选择32bit或64bit。同时定义一个与该数位数相同的整形向量v。
• 分割输入字符串，可以按字符数分割，也可以按空格分割。
• 对于每个分割出来的字符串做普通hash，记hash出的值为k。约定num[i]代表num的第i位的二进制值。则对k的每位i，若k[i]>0，则v[i]+=weight，否则v[i]-=weight，weight代表该子串的权值。
• 对于向量v的每一项，若该项大于0，则simHash的相应位置1，否则置0

　　这样就可以得出一个字符串的simHash值，时间复杂度为O（|s|）。

子串相似判定

　　定义两个字符串相似，即|hammingDist(simHash(str1),simHash(str2))|<=k，k是最大容忍的不同位数，hammingDist为计算两个整数海明距离的函数。海明距离即为两个整数二进制中编码不同的位数。

　　根据经验，k一般取3。而海明距离的计算有一种快速的方法，给出C的实现。这种统计二进制中1的个数的算法叫平行算法，本文不再详述。

static int bitCount(unsigned int n){
    n=(n &0x55555555)+((n>>1)&0x55555555);
    n=(n &0x33333333)+((n>>2)&0x33333333);
    n=(n &0x0f0f0f0f)+((n>>4)&0x0f0f0f0f);
    n=(n &0x00ff00ff)+((n>>8)&0x00ff00ff);
    n=(n &0x0000ffff)+((n>>16)&0x0000ffff);
    return n;
}

int hammingDist(unsigned int a,unsigned int b){
    return bitCount(a^b);
}

查找工作

　　查找新元素与已知集元素是否相似有两种方法。

1. 时间复杂度为O(N)——线性查找算法
2. 时间复杂度为O([C(3,32)+C(2,32)+C(1,32)]k)=O(5488k)——组合算法。

　　光算出simHash值并没有太大的作用，因为判断新元素与已知集的中元素是否相似仍需较长的时间。尤其是数据量很大的时候。这时可以用一定的预处理算法优化第一种算法。

　　假设k=3。优化的方法如下，将32bit或64bit（下文以32bit为例）的hash值平均分为4段。根据抽屉原理，两个字符串的hash中必有1段中没有不同的位。于是可以将每个元素hash的4个8bit作为键均预存储到表中，值为hash的完整值。查找时，只需比较新字符串hash的4个8bit表中的所有完整hash并判断海明距离是否小于等于3。这样优化后，时间复杂度降至O(4k)=O(4*n/(2^9-1))≈O(n/128)，虽然仍为线性复杂度，但已经快了不少。

整体实现

　　整个simHash系统的实现（C++版本）我已开源至github：https://github.com/Darksun2010/MLlearning/tree/master/LSH