MySQL索引

Posted 2020-06-22 jedon的交流空间

一、基础知识

http://database.51cto.com/art/200910/156685.htm

1. mysql索引

    索引是帮助高效查询的数据结构，mysql索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。

索引分为单列索引和组合索引。单列索引，即一个索引只包含单个列，一个表可以有多个单列索引，但这个不是组合索引。组合索引，即一个索引包含多个列。

（1）普通索引

  这是最基本的索引，它没有任何限制。有以下几种创建方式：    

◆创建索引

 

1. CREATE INDEX indexName ON mytable(username(length)); 

 

如果是CHAR，VARCHAR类型，length可以小于字段实际长度；如果是BLOB和TEXT类型，必须指定 length，下同。

 

◆修改表结构

 

1. ALTER mytable ADD INDEX [indexName] ON (username(length)) 

 

◆创建表的时候直接指定

 

1. CREATE TABLE mytable(  
2.  
3. ID INT NOT NULL,   
4.  
5. username VARCHAR(16) NOT NULL,  
6.  
7. INDEX [indexName] (username(length))  
8.  
9. );  

 

删除索引的语法：

 

1. DROP INDEX [indexName] ON mytable; 

 

（2）唯一索引

  它与普通索引类似，不同的是：索引列的值必须唯一，但允许有空值。如果是组合索引，则各列值得组合必须是唯一的。它有以下几种创建方式：

    

 

◆创建索引

 

1. CREATE UNIQUE INDEX indexName ON mytable(username(length)) 

 

◆修改表结构

 

1. ALTER mytable ADD UNIQUE [indexName] ON (username(length)) 

 

◆创建表的时候直接指定

 

1. CREATE TABLE mytable(  
2.  
3. ID INT NOT NULL,   
4.  
5. username VARCHAR(16) NOT NULL,  
6.  
7. UNIQUE [indexName] (username(length))  
8.  
9. );  

 

（3）主键索引

  它是一种特殊的唯一索引，不允许有空值。一般在建表的同时创建主键索引： 

1. CREATE TABLE mytable(  
2.  
3. ID INT NOT NULL,   
4.  
5. username VARCHAR(16) NOT NULL,  
6.  
7. PRIMARY KEY(ID)  
8.  
9. );  

 

  当然也可以用 ALTER 命令。记住：一个表只能有一个主键。

 

 

（4）组合索引 

 

  为了形象地对比单列索引和组合索引，为表添加多个字段：

 

1. CREATE TABLE mytable(  
2.  
3. ID INT NOT NULL,   
4.  
5. username VARCHAR(16) NOT NULL,  
6.  
7. city VARCHAR(50) NOT NULL,  
8.  
9. age INT NOT NULL 
10.  
11. );  

 

      为了进一步提高MySql的查询效率，就要考虑建立组合索引。下面将name,city,age建到一个索引里：

  建表时，usernname长度为 16，这里用 10。这是因为一般情况下名字的长度不会超过10，这样会加速索引查询速度，还会减少索引文件的大小，提高INSERT的更新速度。

如果分别在 usernname，city，age上建立单列索引，让该表有3个单列索引，查询时和上述的组合索引效率也会大不一样，远远低于我们的组合索引。虽然此时有了三个索引，但MySQL只能用到其中的那个它认为似乎是最有效率的单列索引。

  建立这样的组合索引，其实是相当于分别建立了下面三组组合索引：

 

1. usernname,city,age  
2.  
3. usernname,city  
4.  
5. usernname  

  为什么没有 city，age这样的组合索引呢？这是因为MySQL组合索引“最左前缀”的结果。简单的理解就是只从最左面的开始组合。并不是只要包含这三列的查询都会用到该组合索引，下面的几个SQL就会用到这个组合索引：

 

1. SELECT * FROM mytable WHREE username="admin" AND city="郑州" 
2.  
3. SELECT * FROM mytable WHREE username="admin" 

  而下面几个则不会用到：

 

1. SELECT * FROM mytable WHREE age=20 AND city="郑州" 
2.  
3. SELECT * FROM mytable WHREE city="郑州" 

 

2. 建立索引的时机

  我们已经学会了建立索引，那么我们需要在什么情况下建立索引呢？一般来说，在WHERE和JOIN中出现的列需要建立索引，但也不完全如此，因为MySQL只对<，<=，=，>，>=，BETWEEN，IN，以及某些时候的LIKE才会使用索引。例如：

 

1. SELECT t.Name 
2.  
3. FROM mytable t LEFT JOIN mytable m   
4.  
5. ON t.Name=m.username WHERE m.age=20 AND m.city=‘郑州‘ 

 

  此时就需要对city和age建立索引，由于mytable表的userame也出现在了JOIN子句中，也有对它建立索引的必要。

 

  刚才提到只有某些时候的LIKE才需建立索引。因为在以通配符%和_开头作查询时，MySQL不会使用索引。例如下句会使用索引：

 

1. SELECT * FROM mytable WHERE username like‘admin%‘ 

 

  而下句就不会使用：

 

1. SELECT * FROM mytable WHEREt Name like‘%admin‘ 

 

  因此，在使用LIKE时应注意以上的区别。

 

3. 索引的不足之处

  上面都在说使用索引的好处，但过多的使用索引将会造成滥用。因此索引也会有它的缺点：

  ◆虽然索引大大提高了查询速度，同时却会降低更新表的速度，如对表进行INSERT、UPDATE和DELETE。因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件。

  ◆建立索引会占用磁盘空间的索引文件。一般情况这个问题不太严重，但如果你在一个大表上创建了多种组合索引，索引文件的会膨胀很快。

 

索引只是提高效率的一个因素，如果你的MySQL有大数据量的表，就需要花时间研究建立最优秀的索引，或优化查询语句。

 

4. 使用索引的注意事项

  使用索引时，有以下一些技巧和注意事项：

  ◆索引不会包含有NULL值的列

    只要列中包含有NULL值都将不会被包含在索引中，复合索引中只要有一列含有NULL值，那么这一列对于此复合索引就是无效的。所以我们在数据库设计时不要让字段的默认值为NULL。

  ◆使用短索引

    对串列进行索引，如果可能应该指定一个前缀长度。例如，如果有一个CHAR(255)的列，如果在前10个或20个字符内，多数值是惟一的，那么就不要对整个列进行索引。短索引不仅可以提高查询速度而且可以节省磁盘空间和I/O操作。

  ◆索引列排序

    MySQL查询只使用一个索引，因此如果where子句中已经使用了索引的话，那么order by中的列是不会使用索引的。因此数据库默认排序可以符合要求的情况下不要使用排序操作；尽量不要包含多个列的排序，如果需要最好给这些列创建复合索引。

  ◆like语句操作

    一般情况下不鼓励使用like操作，如果非使用不可，如何使用也是一个问题。like “%aaa%” 不会使用索引而like “aaa%”可以使用索引。

  ◆不要在列上进行运算

 

1. select * from users where YEAR(adddate)<2007; 

 

   将在每个行上进行运算，这将导致索引失效而进行全表扫描，因此我们可以改成

 

1. select * from users where adddate<‘2007-01-01’;  

 

  ◆不使用NOT IN和<>操作

 

 

二、数据结构和基础

http://blog.codinglabs.org/articles/theory-of-mysql-index.html

http://tech.meituan.com/mysql-index.html

1. 索引的由来

  我们知道，数据库的查询是数据库的最主要的功能之一。最基本的查询算法当然是顺序查找了，这种复杂度为O(n)的算法在数据量很大时效率非常的低。二分查找是更高效的查找方法，它要求检索数据有序；二叉树查找法只能应用于二叉查找树上。在二叉查找树的基础上，扩展成多路查找树，也就是目前大部分数据库文件系统都采用的B-/B+树作为索引结构。

2. B- Tree

 又叫多路搜索树。定义如下：

   ⑴树中每个结点至多有m棵子树；
   ⑵若根结点不是叶子结点，则至少有两棵子树；
   ⑶除根结点之外的所有非终端结点至少有?m/2? 棵子树；
   ⑷所有的非终端结点中包含以下信息数据：（n，A0，K1，A1，K2，…，Kn，An）

 

 子节点数范围【m/2,m】, key和指向子节点的指针间隔分布，key 有m个，指针有m+1个

 一条数据记录为一个二元组[key, data]，key为记录的键值，对于不同数据记录，key是互不相同的；data为数据记录除key外的数据

插入删除新的数据记录会破坏B_Tree的性质，因此在插入删除时，需要对数进行分裂、合并、转移等操作以保持B_Tree的性质。

3. B+ Tree

（1）有n个key就有n个子节点。

（2）内节点不存储data,只存储key

（3）叶子节点不存储指针

（4）叶子节点增加了顺序访问指针

4. 为什么使用B-/B+ Tree

 1）磁盘预读原理

  简单来说，磁盘的读取本身存在机械耗费（寻道、旋转），效率很差。由于存储介质的特性，磁盘本身存取就比主存慢很多，再加上机械运动耗费，磁盘的存取速度往往是主存的几百分分之一，因此为了提高效率，要尽量减少磁盘I/O。为了达到这个目的，磁盘往往不是严格按需读取，而是每次都会预读，即使只需要一个字节，磁盘也会从这个位置开始，顺序向后读取一定长度的数据放入内存。这样做的理论依据是计算机科学中著名的局部性原理：

    当一个数据被用到时，其附近的数据也通常会马上被使用；

    程序运行期间所需要的数据通常比较集中。

  由于磁盘顺序读取的效率很高（不需要寻道时间，只需很少的旋转时间），因此对于具有局部性的程序来说，预读可以提高I/O效率。预读的长度一般为页（page）的整倍数。页是计算机管理存储器的逻辑块，硬件及操作系统往往将主存和磁盘存储区分割为连续的大小相等的块，每个存储块称为一页（在许多操作系统中，页得大小通常为4k），主存和磁盘以页为单位交换数据。当程序要读取的数据不在主存中时，会触发一个缺页异常，此时系统会向磁盘发出读盘信号，磁盘会找到数据的起始位置并向后连续读取一页或几页载入内存中，然后异常返回，程序继续运行。

 2）索引设计 

  数据库系统的设计者巧妙的利用了磁盘预读原理，将一个节点的大小设为等于一页。这样每个节点只需要一次I/O就可以完全载入了。因此在实际实现B_ Tree时，每次新建一个节点，直接申请一个页的空间，这样就保证了一个节点物理上也是存储在一个页里，加之计算机存储分配都是按叶对齐的，这就实现了一个节点只需一次I/O

 B-Tree中一次检索最多需要h-1次I/O（根节点常驻内存），渐进复杂度为O(h)=O(logdN)。一般实际应用中，出度d是非常大的数字，通常超过100，因此h非常小（通常不超过3）。

 因而用B-Tree作为索引结构效率是非常高的。

 

 

 由于B+Tree内节点去掉了data域，因此可以拥有更大的出度d，拥有更好的性能，所以B+Tree更适合做为外存索引

 

  如上图，是一颗b+树，关于b+树的定义可以参见B+树，这里只说一些重点，浅蓝色的块我们称之为一个磁盘块，可以看到每个磁盘块包含几个数据项（深蓝色所示）和指针（黄色所示），如磁盘块1包含数据项17和35，包含指针P1、P2、P3，P1表示小于17的磁盘块，P2表示在17和35之间的磁盘块，P3表示大于35的磁盘块。真实的数据存在于叶子节点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。非叶子节点只不存储真实的数据，只存储指引搜索方向的数据项，如17、35并不真实存在于数据表中。 

 

  通过上面的分析，我们知道IO次数取决于b+数的高度h，假设当前数据表的数据为N，每个磁盘块的数据项的数量是m，则有h=㏒(m+1)N，当数据量N一定的情况下，m越大，h越小；而m = 磁盘块的大小 / 数据项的大小，磁盘块的大小也就是一个数据页的大小，是固定的，如果数据项占的空间越小，数据项的数量越多，树的高度越低。这就是为什么每个数据项，即索引字段要尽量的小，比如int占4字节，要比bigint8字节少一半。这也是为什么b+树要求把真实的数据放到叶子节点而不是内层节点。

 

5.MySql索引实现

 1）MyISAM索引实现

  MyISAM引擎使用B+ Tree作为索引结构，叶节点的data域存放的是数据记录的地址。如图示原理图：

 

  辅助索引和主索引没有什么区别，只是索引key可以重复。

 

 

 2）InnoDB索引实现

  虽然InnoDB也使用B+Tree作为索引结构，但具体实现方式却与MyISAM截然不同。

  第一个重大区别是InnoDB的数据文件本身就是索引文件。在InnoDB中，表数据文件本身就是按B+Tree组织的一个数据结构，叶节点的data域保存了完整的数据记录。索引的key是数据表的主键。因此InnoDB表数据文件本身就是主索引。

 

   

  

  可以看到叶节点包含了完整的数据记录。这种索引叫做聚集索引。因为InnoDB的数据文件本身要按主键聚集，所以InnoDB要求表必须有主键（MyISAM可以没有），如果没有显式指定，则MySQL系统会自动选择一个可以唯一标识数据记录的列作为主键，如果不存在这种列，则MySQL自动为InnoDB表生成一个隐含字段作为主键，这个字段长度为6个字节，类型为长整形。

  第二个不同是，InnoDB的辅助索引data域存储相应记录主键的值而不是地址。换句话说，InnoDB的所有辅助索引都用主键作为data域 

 

     

   由此我们也理解了，在使用InnoDB存储引擎时，如果没有特别的需要，请永远使用一个与业务无关的自增字段作为主键。

 

三、索引优化

1. 使用短索引

  对串（字符串）列进行索引，应该指定一个前缀长度，例如有一个char(200)的列，如果在前10个或20个字符内，多数值是唯一的，就不要对整个列进行索引，对前10个/20个进行索引，能够节省大量索引空间，较短的值比较起来也更快。

2. 有太多重复值得列，不适合索引

  对于唯一值的列，索引效果最好，具有多个重复值的列，要权衡。

3. 最左前缀原理 

 创建一个联合索引时，实际是创建了几个MySql可利用的索引。mysql会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配，如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)顺序的索引，d是用不到索引的，如果建立(a,b,d,c)的索引则都可以用到，a,b,d的顺序可以任意调整。