Mysql调优-4通过索引进行优化

Posted 2020-12-16 companion

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Mysql调优-4通过索引进行优化相关的知识，希望对你有一定的参考价值。

通过索引进行优化:
    mysql中的order by使用的时候是全排序，全排序比较低，可以使用索引，提升排序的效率;
    https://visualgo.net/zh
    https://geeksforgeeks.org
1.索引的匹配方式:
    mysql官网下载saklia相关zip;
    登录mysql执行
    source 命令导入.sql文件
    source /root/sakila-schema.sql
    source /root/sakila-data.sql

    CREATE TABLE table_staffs (
    id INT PRIMARY KEY auto_increment,
    NAME VARCHAR (24) NOT NULL DEFAULT \'\' COMMENT \'姓名\',
    age INT NOT NULL DEFAULT 0 COMMENT \'年龄\',
    pos VARCHAR (20) NOT NULL DEFAULT \'\' COMMENT \'职位\',
    add_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT \'入职时间\'
    ) charset utf8 COMMENT \'员工记录表\';
    CREATE TABLE table_staffs (id INT PRIMARY KEY auto_increment,  NAME VARCHAR (24) NOT NULL DEFAULT \'\' COMMENT \'name\',  age INT NOT NULL DEFAULT 0 COMMENT \'age\',  pos VARCHAR (20) NOT NULL DEFAULT \'\' COMMENT \'pos\',    add_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT \'time\') charset utf8 COMMENT \'table\';

    alter table staffs and index idx_nap(name,age,pos);

    1>全值匹配:和索引中的所有列进行匹配;
        explain select * from staffs where name=\'July\' and age=\'23\' and pos=\'dev\';

解释:ref:用的3个常量值，rows=1代表只需要过滤一行就可以了，key_len代表索引占用的长度

 2>最左前缀匹配:只匹配最左边几个前缀;

ref:只有一个const，代表pos并没有起作用;

 3>匹配列前缀:只匹配最左边几个前缀;
　　%通配符最好不要用到最前面;

 4>匹配某一个范围值:

  5>精确匹配到某一列并范围匹配另外一列:可以查询第一列的全部和第二例的部分

 6>只访问索引的查询:查询的时候只需要访问索引，不需要访问数据行，本质上就是覆盖索引:

　　出现using index代表出现索引覆盖

　 回表只有普通索引才存在;


2.Hash索引:
　2.1基本介绍:
　　 基于hash表的实现，只有精确匹配索引所有列的查询才有效;
　　 在mysql中，只有memory的存储引擎显式支持hash索引
　　 hash索引自身只需存储对应的hash值，所以索引的结构十分紧凑，这让hash索引查找的速度非常快;
  2.2hash索引的限制:　　　

     1>hash索引只包含hash值和行指针，而不存储字段值，索引不能使用索引中的值来进行避免读取行;

　　　　　　　　 hash值->行指针->行记录因为在memory中，所以特别快
　　　　2>hash索引数据并不是按照索引值顺序进行存储的，所以无法进行排序;
　　　　3>hash索引不支持部分列的匹配查找,hash索引是使用索引列的全部内容来计算的hash值;(部分列的hash值和存储的hash值不一致)
　　　　4>hash索引支持等值比较查询，不支持任何范围查找;
　　　　　访问hash索引的数据非常快，除非有很多的hash冲突，当出现hash冲突的时候，存储引擎必须遍历链表中的所有行指针，逐行进行比较，知道找到所有符合条件的行
　　　　　　避免hash冲突的方法:编写优秀的hash算法:hashmap中有扰度函数，让高位参与运算，地位不参与运算，为了减少hash冲突的可能性，因为如果hash冲突太多的时候链表非常长，改成链表的方式，时间复杂度比较低。
　　　　5>hash冲突比较多的话，维护的代价比较大;

　　　　CRC32

　3.组合索引:优化就是考虑组合索引的建立及其顺序

　　建立组合索引(a,b,c)

查询条件	是否使用索引
where a=2	是，只使用了a
where a=2 and b=3	是，使用了a,b
where a=2 and b=3 and c=4	是，使用了a,b,c
where b=3 or where c=4	否
where a=2 and c=4	是，只使用了a
where a=2 and b>10 and c=4	是，使用了a,b
where a=2 and b like \'xx%\' and c=4 or where a=2 and b like \'xx%\' and c>4	是，使用了a,b,c
where a=2 and b like \'%xx%\' and c=4 or where a=2 and b like \'%xx%\' and c>4	是，只使用了a

　 4.聚簇索引(InnoDB)和非聚簇索引(MyISAM):

　　聚簇索引:不是单独的索引类型，是一种数据存储方式，指的是数据行跟相邻的键值紧凑的存储在一起.

　　优点:

　　　　1>可以把相关数据保存在一起

　　　　2>数据访问更快，因为索引和数据保存在同一个树中

　　　　3>使用覆盖索引扫描的查询可以直接使用页节点中的主键值

　　　缺点:

　　　　1>聚簇诗句最大限度地提高了IO密集型应用的性能，如果数据全部在内存，那么聚簇索引就没有什么优势了

　　　　2>插入速度严重依赖于插入顺序，按照主键的顺序插入是最快的方式->(插入和删除涉及到的拆分合并浪费了很多IO和空间)

　　　　3>更新聚簇索引列的代价很高，因为会强制将每个被更新的行移动到新的位置

　　　　4>基于聚簇索引的表在插入新行，或者主键被更新导致需要移动行的时候，可能面临页分裂的问题

　　　　5>聚簇索引可能导致全表扫描变慢，尤其是行比较稀疏，或者由于页分裂导致数据存储不连续的时候

　　　　索引维护很麻烦，大批数据的迁移的时候，mysql默认给主键和唯一键创建索引，可以先将索引关掉再迁移，然后导完数据再打开，效率比较高一些

5.覆盖索引:

　　->查询的字段值是不是都在索引中

　　如果一个索引包含所有需要查询字段的值，我们称之为覆盖索引->没有回表的过程

　　不是所有类型的索引都可以称为覆盖索引，覆盖索引必须要存储索引列的值

　　不同的存储实现覆盖索引的方式不同，不是所有的引擎都支持覆盖索引，memory不支持覆盖索引

　　使用的优点:

　　　　1>索引条目通常远小于数据行大小，如果只需要读取索引，那么mysql就会极大的较少的数据访问量(IO量)

　　　　2>因为索引是按照列值顺序存储的，所以对于IO密集型(需要频繁的IO)的范围查询会比随机从磁盘读取每一行数据的IO要少的多

　　　　3>一些存储引擎如MYISAM在内存中只缓存索引，数据则依赖于操作系统来缓存，因此要访问数据需要一次系统调用，这可能会导致严重的性能问题;

　　　　4>由于InnoDB的聚簇索引，覆盖索引对InnoDB表特别有用.(ibd是数据和索引存放的)

　　extra:是否显示using index

　　无论数据还是索引都是需要持久化的

　 6.索引优化的小细节:

　　　1>当使用索引列进行查询的时候尽量不要使用表达式，把计算放到业务层而不是数据库层;

　　　　eg:select age from actor where age + 1= 5;尽量不要使用这种带有表达式的;　　　　　　　　　　

　　system>const>ref>range>index>all

　　　2>尽量使用主键查询，而不是其他索引，因此主键查找不会触发回表查询;　　　　　　

　　　3>使用前缀索引->某个列开头的部分字符串，但是可能降低索引的选择性；varchar/blob/text使用的时候必须要使用前缀索引

　　eg:

　　创建数据表: create table citydemo(city varchar(50) not null);

　　插入数据表:insert into citydemo(city) select city from city;(执行多次直到select count(1) from citydemo=19200);

　　更新表中数据:update citydemo set city=(select city from city order by rand() limit 1)\'

　　查询:

　　select count(*) as cnt,city from citydemo group by city order by cnt desc limit 10;

　　　　select count(*) as cnt,left(city,3)as pref from citydemo group by city order by cnt desc limit 10;

　　　　查看数量是否和完整索引一致，一致采用left就可以，索引保存的少了;

　　select count(distinct left(city,3))/count(*) as sel3,count(distinct left(city,4))/count(*) as sel4,count(distinct left(city,5))/count(*) as sel5,count(distinct left(city,6))/count(*) as sel6, count(distinct left(city,7))/count(*) as sel7,count(distinct left(city,8))/count(*) as sel8 from citydemo;　　

　　取前面7个字节和整体的长度就完全一致了;取3的话，重复值太多，索引查询效率太低;

　　　4>使用索引来进行排序

　　　　排序操作的时候，如果排序列中是索引的话一定要用，但是如果不是索引，使用文件的话IO量是很大的;

　　　　设计索引的时候要尽可能满足查询和排序两种条件;

　　　5>union all，in，or都可以使用到索引，但是推荐使用in

　　　　 explain select * from actor where actor_id = 1 union all select * from actor where actor_id =2;

　　　　分为两个阶段执行,如果必须用的话，用union all 不要用union，因为union包含disctinct的操作，如果没有重复数据要求的话
　　　　 explain select * from actor where actor_id=1 or actor_id=2;
　　　　 explain select * from actor where actor_id in (1,2);