Mysql调优-4通过索引进行优化

Posted companion

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Mysql调优-4通过索引进行优化相关的知识,希望对你有一定的参考价值。

通过索引进行优化:
mysql中的order by使用的时候是全排序,全排序比较低,可以使用索引,提升排序的效率;
https://visualgo.net/zh
https://geeksforgeeks.org
1.索引的匹配方式:
mysql官网下载saklia相关zip;
登录mysql执行
source 命令导入.sql文件
source /root/sakila-schema.sql
source /root/sakila-data.sql

CREATE TABLE table_staffs (
id INT PRIMARY KEY auto_increment,
NAME VARCHAR (24) NOT NULL DEFAULT \'\' COMMENT \'姓名\',
age INT NOT NULL DEFAULT 0 COMMENT \'年龄\',
pos VARCHAR (20) NOT NULL DEFAULT \'\' COMMENT \'职位\',
add_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT \'入职时间\'
) charset utf8 COMMENT \'员工记录表\';
CREATE TABLE table_staffs (id INT PRIMARY KEY auto_increment, NAME VARCHAR (24) NOT NULL DEFAULT \'\' COMMENT \'name\', age INT NOT NULL DEFAULT 0 COMMENT \'age\', pos VARCHAR (20) NOT NULL DEFAULT \'\' COMMENT \'pos\', add_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT \'time\') charset utf8 COMMENT \'table\';

alter table staffs and index idx_nap(name,age,pos);

1>全值匹配:和索引中的所有列进行匹配;
explain select * from staffs where name=\'July\' and age=\'23\' and pos=\'dev\';

解释:ref:用的3个常量值,rows=1代表只需要过滤一行就可以了,key_len代表索引占用的长度
 2>最左前缀匹配:只匹配最左边几个前缀;

 

 ref:只有一个const,代表pos并没有起作用;

 3>匹配列前缀:只匹配最左边几个前缀;
  
%通配符最好不要用到最前面;

  

 4>匹配某一个范围值:

 

  5>精确匹配到某一列并范围匹配另外一列:可以查询第一列的全部和第二例的部分

    

 6>只访问索引的查询:查询的时候只需要访问索引,不需要访问数据行,本质上就是覆盖索引:

    出现using index代表出现索引覆盖

  回表只有普通索引才存在;


2.Hash索引:
 2.1基本介绍:
  
基于hash表的实现,只有精确匹配索引所有列的查询才有效;
   在mysql中,只有memory的存储引擎显式支持hash索引
   hash索引自身只需存储对应的hash值,所以索引的结构十分紧凑,这让hash索引查找的速度非常快;
2.2hash索引的限制:   

1>hash索引只包含hash值和行指针,而不存储字段值,索引不能使用索引中的值来进行避免读取行;

         hash值->行指针->行记录 因为在memory中,所以特别快
    2>hash索引数据并不是按照索引值顺序进行存储的,所以无法进行排序;
    3>hash索引不支持部分列的匹配查找,hash索引是使用索引列的全部内容来计算的hash值;(部分列的hash值和存储的hash值不一致)
    4>hash索引支持等值比较查询,不支持任何范围查找;
       访问hash索引的数据非常快,除非有很多的hash冲突,当出现hash冲突的时候,存储引擎必须遍历链表中的所有行指针,逐行进行比较,知道找到所有符合条件的行
      避免hash冲突的方法:编写优秀的hash算法:hashmap中有扰度函数,让高位参与运算,地位不参与运算,为了减少hash冲突的可能性,因为如果hash冲突太多的时候链表非常长,改成链表的方式,时间复杂度比较低。
    5>hash冲突比较多的话,维护的代价比较大;

    CRC32

 3.组合索引:优化就是考虑组合索引的建立及其顺序

  建立组合索引(a,b,c)

查询条件 是否使用索引
where a=2 是,只使用了a
where a=2 and b=3 是,使用了a,b
where a=2 and b=3 and c=4 是,使用了a,b,c
where b=3 or where c=4
where a=2 and c=4 是,只使用了a
where a=2 and b>10 and c=4 是,使用了a,b
where a=2 and b like \'xx%\' and c=4 or where a=2 and b like \'xx%\' and c>4  是,使用了a,b,c
where a=2 and b like \'%xx%\' and c=4 or where a=2 and b like \'%xx%\' and c>4 是,只使用了a

 

  4.聚簇索引(InnoDB)和非聚簇索引(MyISAM):

  聚簇索引:不是单独的索引类型,是一种数据存储方式,指的是数据行跟相邻的键值紧凑的存储在一起.

  优点:

    1>可以把相关数据保存在一起

    2>数据访问更快,因为索引和数据保存在同一个树中

    3>使用覆盖索引扫描的查询可以直接使用页节点中的主键值

   缺点:

    1>聚簇诗句最大限度地提高了IO密集型应用的性能,如果数据全部在内存,那么聚簇索引就没有什么优势了

    2>插入速度严重依赖于插入顺序,按照主键的顺序插入是最快的方式->(插入和删除涉及到的拆分合并浪费了很多IO和空间)

    3>更新聚簇索引列的代价很高,因为会强制将每个被更新的行移动到新的位置

    4>基于聚簇索引的表在插入新行,或者主键被更新导致需要移动行的时候,可能面临页分裂的问题

    5>聚簇索引可能导致全表扫描变慢,尤其是行比较稀疏,或者由于页分裂导致数据存储不连续的时候

    索引维护很麻烦,大批数据的迁移的时候,mysql默认给主键和唯一键创建索引,可以先将索引关掉再迁移,然后导完数据再打开,效率比较高一些

    5.覆盖索引:

  ->查询的字段值是不是都在索引中

  如果一个索引包含所有需要查询字段的值,我们称之为覆盖索引->没有回表的过程

  不是所有类型的索引都可以称为覆盖索引,覆盖索引必须要存储索引列的值

  不同的存储实现覆盖索引的方式不同,不是所有的引擎都支持覆盖索引,memory不支持覆盖索引

  使用的优点:

    1>索引条目通常远小于数据行大小,如果只需要读取索引,那么mysql就会极大的较少的数据访问量(IO量)

    2>因为索引是按照列值顺序存储的,所以对于IO密集型(需要频繁的IO)的范围查询会比随机从磁盘读取每一行数据的IO要少的多

    3>一些存储引擎如MYISAM在内存中只缓存索引,数据则依赖于操作系统来缓存,因此要访问数据需要一次系统调用,这可能会导致严重的性能问题;

    4>由于InnoDB的聚簇索引,覆盖索引对InnoDB表特别有用.(ibd是数据和索引存放的)

  extra:是否显示using index

  无论数据还是索引都是需要持久化的

  6.索引优化的小细节:

   1>当使用索引列进行查询的时候 尽量不要使用表达式,把计算放到业务层而不是数据库层;

    eg:select age from actor where age + 1= 5;尽量不要使用这种带有表达式的;          

 

   system>const>ref>range>index>all 

  

   2>尽量使用主键查询,而不是其他索引,因此主键查找不会触发回表查询;      

    3>使用前缀索引->某个列开头的部分字符串,但是可能降低索引的选择性;varchar/blob/text使用的时候必须要使用前缀索引

  eg:

  创建数据表: create table citydemo(city varchar(50) not null);

  插入数据表:insert into citydemo(city) select city from city;(执行多次直到select count(1) from citydemo=19200);

  更新表中数据:update citydemo set city=(select city from city order by rand() limit 1)\'

  查询:

  select count(*) as cnt,city from citydemo group  by city order by cnt desc limit 10;

 

   

 

     select count(*) as cnt,left(city,3)as pref from citydemo group  by city order by cnt desc limit 10;

    查看数量是否和完整索引一致,一致采用left就可以,索引保存的少了;

  select count(distinct left(city,3))/count(*) as sel3,count(distinct left(city,4))/count(*) as sel4,count(distinct left(city,5))/count(*) as sel5,count(distinct left(city,6))/count(*) as sel6,       count(distinct left(city,7))/count(*) as sel7,count(distinct left(city,8))/count(*) as sel8 from citydemo;  

   

 

   

  取前面7个字节和整体的长度就完全一致了;取3的话,重复值太多,索引查询效率太低;

    4>使用索引来进行排序

    排序操作的时候,如果排序列中是索引的话一定要用,但是如果不是索引,使用文件的话IO量是很大的;

    设计索引的时候要尽可能满足查询和排序两种条件;

    5>union all,in,or都可以使用到索引,但是推荐使用in

      explain select * from actor where actor_id = 1 union all select * from actor where actor_id =2;

      分为两个阶段执行,如果必须用的话,用union all 不要用union,因为union包含disctinct的操作,如果没有重复数据要求的话
      explain select * from actor where actor_id=1 or actor_id=2;
      explain select * from actor where actor_id in (1,2); 

 

 

 

 数据量大的时候,使用in查询效率高的特点更明显.

   6>范围查询的索引列只能使用一个,但是依然建议范围查询使用索引,查询效率还是比较高的;

    案例:idx_nap2(name,pos,age),以下两条sql的执行计划对比可以知道,范围查询只使用了索引列中的一个name列;

    

   7>强制类型转换会全表扫描;

    创建表 : create table user(id int,name varchar(10),phone varchar(11));

        alter table user add index idx_1(phone);

    比对以varchar查询phone和i整型查询的区别:

        explain select * from user where phone=\'13428394728\';->才会触发索引

        explain select * from user where phone=13428394728;

   8>更新十分频繁,数据区分度不高的字段不宜建索引;

    更新频繁的情况维护成本太高

   9>创建索引的列,不允许为null,可能会得到不符合预期的结果;

    实际业务需求中大部分还是允许为空的

   10>当需要进行表连接的时候,最好不要超过3张表,因为需要join的字段,数据类型必须一致

   mysql中join的实现方式;

   当使用索引的时候,非驱动表上面的列要有索引,可以通过索引来减少比较,加速查询,一般AjoinB还是BjoinA,都是优化器去决定的,除非使用constraint关键字

   Block nested-loop join:

     非驱动表没有索引,将驱动表的需要记录的列对应的放到join_buffer中,然后再去匹配非驱动表,匹配上就取出来这条记录,匹配不上跳过下一条记录;

  小表join大表

  当使用内连接的时候,and和where效果相同,当使用左外连接(右外连接)的时候,会把左表(右表)的数据全部取出.

   11>如果只有一条结果返回,limit 1能够提高效率。

   limit 1提高查询效率的原因: limit并不是用来做分页的,不加limit是逐行判断,加上limit就是扫到满足那行为止,能用limit的就尽量用limit.

   12>单表索引建议控制在5个以内;

   给表创建索引的时候,并不是索引越多越好,因为索引越多,索引文件就越多,维护越困难.

   定义了varchar(10),实际存储的数据是null,内存和硬盘是不一样的,越大的话,内存消耗越大.

   13>单索引字段数不允许超过5个(组合索引-最左匹配原则,容易浪费空间)

      14>创建索引的时候避免使用索引越多越好,过早优化,在不了解系统的时候进行优化

    7.索引的监控信息:

   handler_read_key:通过index获取数据的次数

   handler_read_rnd_next:从数据节点读取下一条数据的次数

   以上两个值越大越好。

 

    

  









以上是关于Mysql调优-4通过索引进行优化的主要内容,如果未能解决你的问题,请参考以下文章

MySQL调优索引优化

Day811.MySQL调优之索引:索引的失效与优化 -Java 性能调优实战

理解MySQL——索引与优化

mysql-索引与优化

mysql 索引与优化

理解MySQL——索引与优化