MySQL从入门到精通高级篇(二十)适合创建索引的11种情况&不适合创建索引的7种情况,万字长文

Posted 码农飞哥

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MySQL从入门到精通高级篇(二十)适合创建索引的11种情况&不适合创建索引的7种情况,万字长文相关的知识,希望对你有一定的参考价值。

您好,我是码农飞哥,感谢您阅读本文,欢迎一键三连哦
💪🏻 1. Python基础专栏,基础知识一网打尽,9.9元买不了吃亏,买不了上当。 Python从入门到精通
❤️ 2. Python爬虫专栏,系统性的学习爬虫的知识点。9.9元买不了吃亏,买不了上当 。python爬虫入门进阶
❤️ 3. Ceph实战,从原理到实战应有尽有。 Ceph实战
❤️ 4. Java高并发编程入门,打卡学习Java高并发。 Java高并发编程入门
😁 5. 社区逛一逛,周周有福利,周周有惊喜。码农飞哥社区,飞跃计划

文章目录

1. 简介

上一篇文章我们介绍了索引的分类以及如何创建和删除索引。这篇文章接着来介绍来介绍创建索引的11种情况,让小伙伴们在实际使用中能够做到清楚明了,不迷茫。

为了使索引的使用效率更高,在创建索引时,必须考虑在哪些字段上创建索引以及创建什么类型的索引。索引设计不合理或者缺少索引都会对数据库和应用程序的性能造成障碍。 高效的索引对于获得良好的性能非常重要,设计索引时,应该考虑相应准则。

2. 数据准备

2.1. 创建数据库、创建表

CREATE DATABASE feigedb;
USE feigedb;-- 创建学生表和课程表
-- 创建数据表
CREATE TABLE student (
	id INT ( 11 ) NOT NULL AUTO_INCREMENT,
	student_id INT NOT NULL,
	NAME VARCHAR ( 20 ) DEFAULT NULL,
	course_id INT NOT NULL,
	class_id INT ( 11 ) DEFAULT NULL,
	create_time datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
PRIMARY KEY ( id ) 
) ENGINE = INNODB AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8;

CREATE TABLE course(
  id INT(11) NOT NULL AUTO_INCREMENT,
	course_id INT NOT NULL,
	course_name VARCHAR(40) DEFAULT NULL,
	PRIMARY KEY(id)
)ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

2.2. 创建模拟数据必需的存储函数

-- 函数1:创建随机产生字符串函数
DELIMITER //
CREATE FUNCTION rand_string(n INT)
    RETURNS VARCHAR(255) #该函数会返回一个字符串
BEGIN
  DECLARE chars_str VARCHAR(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ';
	DECLARE return_str VARCHAR(255) DEFAULT '';
	DECLARE i INT DEFAULT 0;
	WHILE i<n DO 
	  SET return_str=CONCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));
		SET i=i+1;
	END WHILE;
	RETURN return_str;
END //
DELIMITER;

-- 函数2: 创建随机数函数
DELIMITER //
CREATE FUNCTION rand_num(from_num INT,to_num INT) RETURNS INT(11)
BEGIN
  DECLARE i INT DEFAULT 0;
	SET i=FLOOR(from_num+RAND()*(to_num-from_num+1));
	RETURN i;
END//
DELIMITER;

创建函数,假如报错:

This function has none of DETERMINISTIC ....

由于开启过慢查询日志bin-log,我们就必须为我们的function指定一个参数。
主从复制,主机会将写操作记录在bin-log日志中,从机读取bin-log日志,执行语句来同步数据。如果使用函数来操作数据,会导致从机和主键操作时间不一致。所以,默认情况下,mysql不开启创建函数设置。

  • 查看mysql是否允许创建函数:
show variables LIKE 'log_bin_trust_function_creators';
  • 命令开启:允许创建函数设置:
set global log_bin_trust_function_creators=1;

2.3. 创建插入模拟数据的存储过程

-- 存储过程1:创建插入课程表存储过程
DELIMITER //
create procedure insert_course(max_num INT)
begin
    declare i int default 0;
    set autocommit = 0;  # 设置手动提交事务
    repeat  # 循环
    set i = i+1;  # 赋值
    INSERT INTO course(course_id,course_name) VALUES(rand_num(10000, 10100),rand_string(6));
    until i = max_num
    end repeat;
    commit;  # 提交事务
end //
DELIMITER;

-- -- 存储过程2:创建插入学生信息表存储过程
DELIMITER //
create procedure insert_stu(max_num int)
begin
    declare i int default 0;
    set autocommit = 0;  # 设置手动提交事务
    repeat  # 循环
    set i = i+1;  # 赋值
    insert into student (course_id, class_id, student_id, name) values (rand_num(10000, 10100), rand_num(10000, 10200), rand_num(1, 200000), rand_string(6));
    until i = max_num
    end repeat;
    commit;  # 提交事务
end //
DELIMITER;

2.4. 调用存储过程

-- 调用存储过程
CALL insert_course(100);

CALL insert_stu(1000000);

执行过程大概花了4分钟,执行完成之后student表中就有了100万条数据。

3. 哪些情况下适合创建索引

3.1. 字段的数值有唯一性限制

索引本身可以起到约束的作用,比如唯一索引,主键索引都是可以起到唯一性的约束的,因此在我们的数据表中,如果某个字段是唯一性的,就可以直接创建唯一性索引,或者主键索引。这样可以更快速地通过该索引来确定某条记录。
例如:学生表中学号是具有唯一性的字段,为该字段建立唯一性索引就可以很快确定某个学生的信息,如果使用姓名的话,可能会存在同名现象,从而降低查询速度。
在Alibaba的Java开发规范中说到:业务上具有唯一特性的字段,即使是组合字段,也必须建成唯一索引。

3.2. 频繁作为WHERE查询条件的字段

某个字段在SELECT 语句的WHERE条件中经常被使用到,那么就需要给这个字段创建索引了,尤其是数据量比较大的情况下,创建普通索引就可以大幅度提升查询的效率。
比如student数据表(含100万条数据),假设我们想要查询 student_id=184366 的用户信息,
如果我们没有对 student_id 字段创建索引,进行如下查询:

SELECT * FROM student
WHERE student_id=184366;

运行结果:最后查出了19条数据,共用时 344ms(344毫秒)

现在给student表的student_id 列添加索引:

ALTER TABLE student ADD INDEX idx_sid(student_id);

再次执行上面的查询sql语句

SELECT * FROM student
WHERE student_id=184366;

这次查询耗时缩短到了 27ms (27毫秒)。

3.3. 经常GROUP BY和ORDER BY的列

索引就是让数据按照某种顺序进行存储或检索,因此当我们使用GROUP BY对数据进行分组查询,或者使用ORDER BY对数据进行排序的时候,就需要对分组或者排序的字段进行索引。 如果待排序的列有多个,那么可以在这些列上添加联合索引。

3.3.1. 只有GROUP BY的情况

比如:按照student_id 对学生选修的课程进行分组,显示不同的student_id和课程数量,显示200个即可,如果我们不对student_id创建索引,执行下面的SQL语句:

SELECT student_id,COUNT(*) as num 
FROM student
GROUP BY student_id
LIMIT 200; 

执行结果:没有索引的情况下该sql执行耗时在670ms,而在有索引的情况下该sql执行耗时在33ms。

-- 删除索引
ALTER TABLE student DROP INDEX idx_sid;

#没有索引 671ms
SELECT student_id,COUNT(*) as num 
FROM student
GROUP BY student_id
LIMIT 200; 
 
-- 添加索引
ALTER TABLE student ADD INDEX idx_sid(student_id);
#有索引 33ms
SELECT student_id,COUNT(*) as num 
FROM student
GROUP BY student_id
LIMIT 200;

3.3.2. 既有GROUP BY又有ORDER BY的情况

在既有GROUP BY又有ORDER BY的情况下,我们可以为GROUP BY和ORDER BY的字段添加组合索引。
比如:按照student_id 对学生选修的课程进行分组,显示不同的student_id和课程数量,显示200个即可,并且按照create_time进行倒序排列,如果我们不对student_id创建索引,执行下面的SQL语句:

-- 删除索引
ALTER TABLE student DROP INDEX idx_sid;
-- 查询数据
SELECT student_id,COUNT(*) as num 
FROM student
GROUP BY student_id
ORDER BY create_time DESC
LIMIT 200;  

执行该SQL语句报了如下错误:

this is incompatible with sql_mode=only_full_group_by


这里就需要修改sql_model了,去掉 only_full_group_by的规则。

SELECT @@sql_mode;

SET @@sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';

修改完sql_mode之后,再次执行上面的查询语句就没有问题了。

通过EXPLAIN查看执行计划,发现这时候走的是全表扫描。

接下来在student_id列和create_time列上增加一个联合索引idx_sid_create_time。

CREATE INDEX idx_sid_create_time ON student(student_id,create_time); 
-- 有索引idx_sid_create_time查询数据,共耗时 260ms
SELECT student_id,COUNT(*) as num 
FROM student
GROUP BY student_id
ORDER BY create_time DESC
LIMIT 200; 

执行该sql语句之后发现共耗时260ms,相比没有索引的情况效率提升了不少。

那么,问题来了,大家想象一下,如果我们在创建索引时将student_id列和create_time列换个位置。那么还能不能用该索引呢。执行下面的SQL语句

-- 创建新的组合索引
DROP INDEX idx_sid_create_time ON student;
CREATE INDEX idx_create_time_sid ON student(create_time,student_id); 

-- 创建idx_create_time_sid索引的情况,共耗时813ms
SELECT student_id,COUNT(*) as num  FROM student
GROUP BY student_id
ORDER BY create_time DESC
LIMIT 200; 

执行结果如下:从结果中可以看出查询语句耗时813ms,跟没有使用索引时性能几乎没有差别。

接着查看执行计划发现,虽然查询时也使用到了idx_create_time_sid索引,但是由于该查询语句首先执行的是GROUP BY student_id 语句,而索引idx_create_time_sid又是按照先create_time列,后student_id 列进行构建的,所以在执行GROUP BY student_id语句时没有使用到idx_create_time_sid索引,后面执行ORDER BY create_time DESC 语句时才使用到idx_create_time_sid索引,这时候效率可想而知,因为主要的耗时还是在GROUP BY student_id语句上。

我们可以重新创建idx_sid索引加以验证。执行如下sql语句:

-- 添加索引
ALTER TABLE student ADD INDEX idx_sid(student_id);

-- 使用idx_sid索引 
SELECT student_id,COUNT(*) as num  FROM student
GROUP BY student_id
ORDER BY create_time DESC
LIMIT 200; 

EXPLAIN SELECT student_id,COUNT(*) as num  FROM student
GROUP BY student_id
ORDER BY create_time DESC
LIMIT 200; 

执行结果:可以看到添加了idx_sid索引之后效率更慢了。


综上所述,如果我们创建联合索引的顺序为(create_time,student_id) 的话,运行时间为803毫秒,因为在进行SELECT 查询的时候,先进行GROUP BY,再对数据进行ORDER BY的操作,所以按照(student_id,create_time) 这个联合索引的顺序效率是最高的。

3.4. UPDATE、DELETE的WHERE条件列

当我们对某条数据进行UPDATE或者DELETE操作的时候,是否也需要对WHERE的条件创建索引呢?
我们先看一下对数据进行UPDATE的情况:我们想要把name为 fbORQH 对应的student_id修改为10002,当我们没有对name进行索引的时候,执行SQL语句:

UPDATE student SET student_id=10002 WHERE `NAME`='fbORQH';

运行结果为 Affected rows: 1,运行时间为:0.462s

修改的效率并不高,但是如果我们对name字段创建了索引,然后执行类似的SQL语句:

-- 创建索引
ALTER TABLE student ADD INDEX idx_name(`NAME`);
-- 更新数据
UPDATE student SET student_id=10003
WHERE `NAME`='fbORQH';

运行结果为 Affected rows: 1 ,运行时间仅为 0.001s ,效率有了大幅度的提升。

删除操作也是同理的,在此就不在赘述了。对数据按照某个条件进行查询后再进行UPDATE或DELETE的操作,如果对WHERE 字段创建了索引,就能大幅提升效率。原理是因为我们需要先根据WHERE条件列检索出来这条记录,然后再对它进行更新或者删除。如果进行更新的时候,更新的字段是非索引字段,提升的效率会更加明显,这是因为非索引字段更新不需要对索引进行维护

3.5. DISTINCT 字段需要创建索引

有时候我们需要对某个字段进行去重,使用DISTINCT,那么对这个字段创建索引,也会提升查询效率。
比如:我们想要查询学生课程表中不同的student_id 都有哪些,如果我们没有对student_id创建索引,执行SQL语句:

SELECT DISTINCT(student_id) FROM student;

运行结果(198141条记录,运行时间 0.672s)

如果我们对student_id创建索引,再执行SQL语句;

SELECT DISTINCT(student_id) FROM student;

运行结果(198141条记录,运行时间: 0.451s),性能提升了200多毫秒。

可以看出SQL查询效率有了提升,同时显示出来的student_id还是按照递增的顺序进行展示的,这是因为索引会对数据按照某种顺序进行排序,所以在去重的时候也会快很多。

3.6. 多表JOIN连接操作时,创建索引注意事项

首先,连接表的数量尽量不要超过3张,因为每增加一张表就相当于增加了一次嵌套的循环,数量级增长会非常快,严重影响查询的效率。
其次,对WHERE 条件创建索引,因为WHERE 才是对数据条件的过滤,如果在数据量非常大的情况下,没有WHERE条件过滤是非常可怕的。
最后,对用于连接的字段创建索引,并且该字段在多张表中的类型必须一致,比如course_id在student表和course表中都为INT(11) 类型,而不能一个为INT,另一个为varchar类型。
举个例子,如果我们只对student_id创建索引,执行SQL语句:

SELECT * FROM student JOIN course
ON student.course_id=course.course_id
WHERE `NAME`='UEoHvf';

运行结果(4条,运行时间:0.298s)
这里我们对name字段创建索引,再执行上面的SQL语句,运行时间为:0.025s

3.7. 使用列的类型小的创建索引

我们这里所说的类型大小指的就是该类型表示的数据范围的大小。
我们定义表结构的时候要显式的指定列的类型,以整数类型为例,有TINYINT,MEDIUMINT,INT,BIGINT等,它们占用的存储空间依次递增,能表示的整数范围当然也是依次递增。如果我们想要对某个整数列建立索引的话,在表示的整数范围允许的情况下,尽量让索引列使用较小的类型,比如我们能用INT就不要使用BIGINT,能使用MEDIUMINT就不要使用INT,这是因为:

  • 数据类型越小,在查询时进行的比较操作越快
  • 数据类型越小,索引占用的存储空间就越小,在一个数据页内就可以放下更多的记录,从而减少磁盘IO带来的性能损耗,也就意味着可以把更多的数据页缓存在内存中,从而加快读写效率。
    这个建议对于表的主键来说更加适用, 因为不仅是聚簇索引中会存主键值,其他所有的非聚簇索引的节点处都会存储一份记录的主键值,如果主键使用更小的数据类型,也就意味着节省更多的存储空间和更高效的IO。

3.8. 使用字符串前缀创建索引

假设我们的字符串很长,那存储一个字符串就需要占用很大的存储空间,在我们需要为这个字符串列建立索引时,那就意味着在对应的B+树种有这么两个问题:

  • B+树索引中的记录需要把该列的完整字符串存储起来,更费时,而且字符串越长,在索引中占用的存储空间就越大。
  • 如果B+树索引中索引列存储的字符串很长,那在做字符串比较时会占用更多的时间
    我们可以通过截取字段的前面一部分内容建立索引,这个就叫前缀索引。这样在查找记录时虽然不能精确的定位到记录的位置,但是能定位到相应前缀所在的位置。然后根据前缀相同的记录的主键值回表查询完整的字符串值。既节约空间,又减少了字符串的比较时间; 还大体能解决排序的问题。

例如,TEXT和BLOG类型的字段,进行全文检索会很浪费时间,如果只检索字段前面的若干字符,这样可以提高检索速度。
创建一张商户表,因为地址字段比较长,在地址字段上建立前缀索引

CREATE TABLE shop(address varchar(120) not null);
ALTER TABLE shop ADD INDEX idx_addr(address(12));

问题是,截取多少呢?截取得多了,达不到节省索引存储空间的目的,截取得少了,重复内容太多,字段的散列度(选择性)会降低。怎么计算不同的长度的选择性呢?
先看一下字段在数据中的选择度

SELECT COUNT(DISTINCT address)/COUNT(*) FROM shop;

通过不同长度去计算,与全表的选择性对比:
公式:

COUNT(DISTINCT left(列名,索引长度))/COUNT(*)

例如:

SELECT COUNT(DISTINCT left(address,10))/COUNT(*) AS sub10, --截取前10个字符的选择度
COUNT(DISTINCT left(address,15))/COUNT(*) AS sub15, --截取前15个字符的选择度
COUNT(DISTINCT left(address,20))/COUNT(*) AS sub20, --截取前20个字符的选择度
COUNT(DISTINCT left(address,25))/COUNT(*) AS sub25, --截取前20个字符的选择度
FROM shop;

引申另一个问题:索引列前缀对排序的影响
如果使用了索引列前缀,比方说前边只把address 列的前12个字符放到了二级索引中,下边这个查询可能就有点尴尬了;

SELECT * FROM shop
ORDER BY address
LIMIT 12;

因为二级索引中不包含完整的address列信息,所以无法对前12个字符相同,后边的字符不同的记录进行排序,也就是使用索引前缀的方式无法支持使用索引排序,只能使用文件排序。
阿里巴巴《Java开发手册》 指出 【强制】在varchar字符上建立索引时,必须指定索引长度,没必要对全字段建立索引,根据实际文本区分度决定索引长度
说明:索引的长度和区分度是一对矛盾体,一般对字符串类型数据,长度为20的索引,区分度会高达90%以上,可以使用COUNT(DISTINCT left(列名,索引长度))/COUNT(*) 的区分度来确定。

3.9. 区分度高(散列性高)的列适合作为索引

列的基数 指的是某一列中不重复数据的个数,比方说某个列包含值2,5,8,2,5,8,2,5,8,虽然有9条记录,但该列的基数却是3,也就是说,在记录行数一定的情况下,列的基数越大,该列中的值越分散;列的基数越小,该列中的值越集中。 这个列的基数指标非常重要,直接影响我们是否能有效的利用索引,最好为列的基数大的列建立索引,为基数太小的列建立索引效果可能不太好。
可以使用公式SELECT COUNT(DISTINCT a)/COUNT(*) FROM t1 计算区分度,越接近1越好,一般超过33%就算是比较高效的索引了。
拓展:联合索引把区分度高(散列性高)的列放在前面。

3.10. 使用最平凡的列放在联合索引的左侧

这样也可以较少的建立一些索引。同时,由于"最左前缀原则",可以增加联合索引的使用率。

3.11. 在多个字段都要创建索引的情况下,联合索引优于单值索引

4. 限制索引的数目

在实际工作中,我们也需要注意平衡,索引的数目不是越多越好,我们需要限制每张表上的索引数量,建议单张表索引数量不超过6个,原因:

  1. 每个索引都需要占用磁盘空间,索引越多,需要的磁盘空间就越大。
  2. 索引会影响INSERT、DELETE、UPDATE等语句的性能,因为表中的数据更改的同时,索引也会进行调整和更新,会造成负担。
  3. 优化器在选择如何优化查询时,会根据统一信息,对每一个可以用到的索引来进行评估,以生成一个最好的执行计划,如果同时有很多索引都可以用于查询,会增加MySQL优化器生成执行计划时间,降低查询性能。

5. 哪些情况下不适合创建索引

5.1. 在where中使用不到的字段,不要设置索引

WHERE条件(包括GROUP BY、ORDER BY)里用不到的字段不需要创建索引,索引的价值是快速定位,如果起不到定位的字段通常是不需要创建索引的,举个例子:

SELECT course_id,student_id,create_time
FROM student
WHERE student_id=10011

因为我们是按照student_id来进行检索的,所以不需要对其他字段创建索引,即使这些字段出现在SELECT 字段中。

5.2. 数据量小的表最好不要使用索引

如果表记录太少,比如少于1000个,那么是不需要创建索引的。表记录太少,是否创建索引对查询效率的影响并不大,甚至说,查询花费的时间可能比遍历索引的时间还要短,索引可能不会产生优化效果。

5.3. 有大量重复数据的列上不要建立索引

在条件表达式中经常用到的不同值较多的列上建立索引,但字段中如果有大量数据,也不用创建索引,比如在学生表的性别字段只有"男"与"女"两个不同值,因此无需建立索引。如果建立索引,不但不会提高查询效率,反而会严重降低数据更新速度
举例1:要在100万行数据中查找其中的50万行(比如性别为男的数据),一旦创建了索引,你需要先访问50万次索引,然后再访问50万次数据表,这样加起来的开销比不使用索引可能还要大。

5.4. 避免对经常更新的表创建过多的索引

第一层含义:频繁更新的字段不一定要创建索引,因为更新数据的时候,也需要更新索引,如果索引太多,在更新索引的时候也会造成负担,从而影响效率。
第二层含义:避免对经常更新的表创建过多的索引,并且索引中的列尽可能少。此时,虽然提高了查询效率,同时却会降低更新表的速度。

5.5. 不建议用无序的值作为索引

例如身份证,UUID在索引比较时需要转为ASCII,并且插入时可能造成页分裂、MD5、HASH、无序长字符串等。

5.6. 删除不再使用或很少使用的索引

表中的数据被大量更新,或者数据的使用方式被改变后,原有的一些索引可能不再需要,数据库管理员应当定期找出这些索引,将它们删除,从而减少索引对更新操作的影响。

5.7. 不要定义冗余或重复的索引

  1. 冗余索引
    有时候有意或无意的就对同一个列创建了多个索引,比如:index(a,b,c) 相对于index(a)index(a,b) 以及 index(a,b,c)
  2. 重复索引
    另一种情况,我们可能会对某个列重复建立索引,比方说
CREATE TABLE repeat_index_demo(
  col1 INT PRIMARY KEY,
	col2 VARCHAR(255) DEFAULT NULL,
	INDEX idx_col1(col1)
)

我们看到,col1既是主键,又给他定义了一个普通索引,可是主键本身就会生成聚簇索引,所以定义的普通索引是重复的。这种情况要避免。

总结

索引是一把双刃剑,可提高查询效率,但也会降低插入和更新的速度并占用磁盘空间。

选择索引的最终目的是为了使查询的速度变快。适合创建索引的情况有十一种,我们也不需要一个个去背,只需要记住:区分度高的,有唯一性约束的,经常用的字段建立索引即可。还需要记住最左匹配原则 在创建组合索引时将最常用的字段放在最左边。
不适合创建索引的情况有7种,大家也不用拘泥于上面的准则,而应该根据应用的实际情况进行分析和判断,选择最适合的索引方式。

以上是关于MySQL从入门到精通高级篇(二十)适合创建索引的11种情况&不适合创建索引的7种情况,万字长文的主要内容,如果未能解决你的问题,请参考以下文章

MySQL从入门到精通高级篇(二十六)建了索引就能用么?我看未必。来看看几种索引失效的情况吧

MySQL从入门到精通高级篇(二十九)覆盖索引的使用&索引下推

MySQL从入门到精通高级篇(二十九)覆盖索引的使用&索引下推

MySQL从入门到精通高级篇(二十六)建了索引就能用么?我看未必。来看看几种索引失效的情况吧

MySQL从入门到精通高级篇(二十六)建了索引就能用么?我看未必。来看看几种索引失效的情况吧

MySQL从入门到精通高级篇(二十五)EXPLAIN中refrowsfilteredExtra字段的剖析