MySql crc32&&crc64函数提高字符串查询效率
Posted Mr_Echo
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MySql crc32&&crc64函数提高字符串查询效率相关的知识,希望对你有一定的参考价值。
一、概念:CRC全称为Cyclic Redundancy Check,又叫循环冗余校验。CRC32是CRC算法的一种,常用于校验网络上传输的文件。
二:MySQL里如何利用CRC32来加快查询???
CRC32的基本特征:
#1.CRC32函数返回值的范围是0-4294967296(2的32次方减1)
#2.相比MD5,CRC32函数很容易碰撞
CRC32的使用场景:
由上述两个基本特性可知,mysql CRC32 生成整型结果使用用bigint存储,而MD5需要varchar来存储。但是CRC32很容易碰撞,这适合做索引么?
场景:我们在做一个爬虫,对于一个URL,先去数据库里查询是否存在,如果不存在,插入到数据库中。大家都知道这种类型应用表会增长非常迅速,如果简单的
SELECT * FROM urls WHERE url = ‘http://wwww.shopperplus.com‘;
会每次全表扫描,效率非常低。如果在url列上面加索引会快一些,但由于url是varchar类型,字段本身的存储空间和索引占用的存储空间都比较大。
SELECT * FROM urls WHERE crc_url = 907060870 AND url = ‘hello‘;
这样一来,大部分查询还是只需要扫描一行就获得结果。对于少部分碰撞的记录,只需要多扫描几行也可以正确获得结果。 url的场景从varchar到bigint的优化其实效果不是特别明显。另一个例子是文本,假如我们有一个text类型的字段(文章内容、评论、微博之类),每次插入之前要判断一下这个内容是否在数据库里存在了。如果使用crc32的技巧,改善的空间还是蛮大的。
三、crc32 缺点容易发生碰撞,有没有更好的方案? 答案是肯定的 -> crc64
crc64() 这个函数补充了MySQL的crc32()函数,其结果是在大量值上分布不均匀。crc64()算法依赖于MD5作为底层机制。
以上是关于MySql crc32&&crc64函数提高字符串查询效率的主要内容,如果未能解决你的问题,请参考以下文章