mysql 百万级数据的模糊查询 优化 笔记

Posted zeoo

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mysql 百万级数据的模糊查询 优化 笔记相关的知识,希望对你有一定的参考价值。

最近老大给了一个需求,是要写一个姓名的模糊查询。

问题很简单,难度在于这张表有将近500W条数据。

如果要做中文的模糊查询,效率简直惨不忍睹。

网上查了一下资料,发现全文索引挺符合我的需要的。

结果,使用下来。其实并不太符合我的要求。

全文索引的最小单位是词,如果不是在 in boolean mode 下是没办法 查询的

其次,全文索引只支持 半模糊查询,我所谓的半模糊就是  xx like ‘xx%‘

如果使用全模糊查询,建完索引之后,用 like 或者用 regexp 在常用关键词的时候 确实快很多。

可以控制在0.1左右

不过低频词还是很慢 需要10S

所以,基于这种情况,可能还是做分表比较好

或者修改需求 做半模糊查询。 

下面是参考的资料 

MySQL中的全文检索(1)

MySQL使用全文索引(fulltext index)

 

以上是关于mysql 百万级数据的模糊查询 优化 笔记的主要内容,如果未能解决你的问题,请参考以下文章

mysql中Mysql模糊查询like效率,以及更高效的写法和sql优化方法

mysql中Mysql模糊查询like效率,以及更高效的写法和sql优化方法

MySQLMysql模糊查询like提速优化

mysql 模糊查询

MySQL百万级数据量分页查询方法及其优化建议

mssql 做千万级数据的模糊查询怎么做