MySQL 索引最佳实践

Posted 潇湘旧友

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MySQL 索引最佳实践相关的知识,希望对你有一定的参考价值。

原文请关注 这里

这是 文章 的翻译,在翻译过程中,会对其中涉及到的语句加上一些个人理解以及 SQL 语句的执行,并进行特别的标注。

1. 你做了一个很棒的选择,因为:

  • 对于普通开发者和 DBA,理解索引都是非常重要的;
  • 对于大量的生产环境上的问题,糟糕的索引要负有责任;
  • 索引没有非常的高深。

2. mysql 索引事项

  • 理解索引;
  • 为自己的应用选择最好的索引;
  • 解决常见的 MySQL 限制。

3. 废话少数,索引有什么用?

  • 可以更快的访问数据库;
  • 可以增加强制限制(UNIQUE, FOREIGN KEY);
  • 没有索引的查询可以运行,但是可能会花费很长时间。

4. 你可能听过的一些索引类型

  • B-Tree 索引:MySQL 中最主要的索引;
  • RTREE 索引:仅仅是 MyISAM,GIS;
  • 哈希索引:MyISAM,5.6 开始的 Innodb。

5. BTREE 索引家族

  • 多种不同的实现:
    • 为了加速,都有相同的操作;
    • 内存和磁盘是需要考虑的两方面;
  • B+Tree 是典型的磁盘存储:数据存储在页节点上;
  • TokuDB Fractal Trees 在逻辑上是相似的:但是在物理存储上不同

6. B+ 树例子

技术分享图片

7. MyISAM vs Innodb

  • 在 MyISAM 中,数据指针指向数据文件的物理节点,所有的索引都是等价的;
  • 在 Innodb 中,主键在页节点上存储数据,耳机索引存储主键作为数据指针。

8. BTREE 索引能做什么?

  • 直接查看 KEY=5 的所有列;
  • 找到 KEY > 5 的列,范围查找;
  • 查找 5<KEY<10 之间的所有列,封闭范围查找;
  • 不能找到 KEY 的最后一个数字是 0 的列(这个不是范围查找)。

9. 字符串索引

  • 字符串索引实际上也没什么不同,按照字典顺序排列,例如 ”AAAA" < "AAAB";
  • like 前缀是一个特殊排序,例如 LIKE “ABC%” 意味着 “ABC[LOWEST]”<KEY<“ABC[HIGHEST]”,但是 LIKE “%ABC” 不走索引。

10. 多列索引

  • 按照定义的顺序从左往右进行比较,例如在 KEY(col1,col2,col3) 中,(1,2,3) < (1,3,1);
  • 多列索引仍然是一个 BTREE 索引,但不是每列都是一个单独的 BTREE。

11. 索引注意事项:

  • 索引会有消耗,不要加比需要更多的索引,在多数情况下拓展现有的索引比加新索引更好;
  • 更新索引会造成数据库大量的写操作;
  • 索引会在磁盘和内存上浪费空间,但是会优化查询性能。

12. Innodb 索引

  • 数据通过主键聚集存储:
    • 通过主键查询是最好的方式;
    • 对于文章的评论,(POST_ID,COMMENT_ID) 可能是一个比较好的主键,因为这会把同一篇文章的评论存储在一起;
    • bigint 型的字段也是主键的可选项。
  • 主键被隐式的连接到其他索引上:
    • KEY(A) 实际上是 KEY(A, ID);
    • Useful for sorting, Covering Index.

13. MySQL 怎么使用索引?

  • 数据查询;
  • 排序;
  • Avoiding reading “data”;
  • 特定优化。

14. 在数据查询中使用索引

  1. 用了索引 LAST_NAME
    SELECT * FROM EMPLOYEES WHERE LAST_NAME=“Smith”;

  2. 用了索引 (DEPT,LAST_NAME)

     SELECT * FROM EMPLOYEES WHERE
     LAST_NAME=“Smith” AND
     DEPT=“Accounting”

    这里虽然索引字段顺序和查询的顺序颠倒,依然会走索引,不是因为最左匹配不走索引。

  3. 多列索引会变的困难,对于索引 (A,B,C):
    • 下面的条件会走索引:
      • A>5
      • A=5 AND B>6
      • A=5 AND B=6 AND C=7
      • A=5 AND B IN (2,3) AND C>5
    • 下面的条件不走索引,因为不符合最左匹配,缺少第一列
      • B > 5
      • B = 6 AND C = 7

      在 MySQL5.7 中使用 explain 执行了一下,发现还是会走索引的,估计 MySQL 底层做了什么优化?

    • 下面条件会走部分索引
      • A>5 AND B=2
      • A=5 AND B>6 AND C=2
  4. SQL 优化的第一原则:

    MySQL 在多列索引中,一遇到 (<,>,between)就会停止使用 key,然而能继续使用 key 直到 in 范围的右边。

15. 在排序中使用索引

  1. 排序

    SELECT * FROM PLAYERS ORDER BY SCORE DESC LIMIT 10
    • 该 SQL 会使用建立在 SCORE 列上的 索引;
    • 如果排序的时候没有使用索引,将会导致非常耗时的文件排序;
    • 在排序中经常会考虑组合索引, 例如下面的 SQL 可以考虑(COUNTRY,SCORE) 索引:
    SELECT * FROM PLAYERS WHERE COUNTRY=“US” ORDER BY   SCORE DESC LIMIT 10
  2. 使用多列索引进行高效的排序,在排序中使用索引有很多的限制,对于 KEY(A,B):
    • 下面排序会使用索引:
      • ORDER BY A:主列索引;
      • A=5 ORDER BY B:通过第一列过滤数据,第二列进行排序;
      • ORDER BY A DESC, B DESC:用相同的排序进行排序;
      • A>5 ORDER BY A:主列上进行查询和排序
    • 下面的语句不会使用索引:
      • ORDER BY B :非主列索引排序;
      • A>5 ORDER BY B:第一列上使用范围,第二列进行排序;
      • A IN(1,2) ORDER BY B:第一列上用 IN;
      • ORDER BY A ASC, B DESC:两列的排列顺序不同。
  3. 使用索引进行排序的规则
    • 两列的排列顺序不能不一致;
    • 非排序的列中索引部分只能用 =,in 也不能用。

16. 避免读数据

  1. 覆盖索引:对特定的查询使用索引,而不是对索引类型使用索引;
  2. 仅仅读取索引,而不是读数据:索引比数据小;
  3. SELECT STATUS FROM ORDERS WHERE CUSTOMER_ID=123 使用索引 KEY(CUSTOMER_ID,STATUS);
  4. 通过索引读取数据是有顺序的,而通过数据指针读取数据经常是随机的。

17. 特定优化

  1. Min/Max 优化
    • 索引对 Min/Max 聚集函数有帮助,当然也只对这俩有作用;
      • SELECT MAX(ID) FROM TBL;
      • SELECT MAX(SALARY) FROM EMPLOYEE GROUP BY DEPT_ID:
        • Will benefit from (DEPT_ID,SALARY) index;
        • “Using index for group-by”
  2. 索引和 JOIN
    • 在 MySQL 中使用 join 会导致嵌套循环,例如下面语句会遍历 POSTS 表找到 Peter 的所有文章,然后根据找到的文章从 COMMENTS 表中找到该文章的索引评论;

      SELECT * FROM POSTS,COMMENTS WHERE
      AUTHOR=“Peter” AND COMMENTS.POST_ID=POSTS.ID

    • 在简单查询的时候才会使用索引,例如上面的语句不会使用 POST.ID 这个索引;
    • 重新设计 join 中没法进行索引的语句也是非常重要的。

18. 表中存在多个索引

  1. MySQL 中可以存在多个索引:会有索引合并;
  2. SELECT * FROM TBL WHERE A=5 AND B=6:该语句能分别使用在 A 和 B 上的索引,但是在 (A,B) 上建立索引是更好的;
  3. SELECT * FROM TBL WHERE A=5 OR B=6:该语句使用两个独立的索引,但不会使用在(A,B) 上建立的索引

19. 前缀索引

可以在索引最左边一列上建立前缀索引:

  1. ALTER TABLE TITLE ADD KEY(TITLE(20));
  2. 需要在 BLOB/TEXT 上建立索引;
  3. 能显著的提升效率;
  4. 不能被用作覆盖索引;
  5. 选择合适的前缀长度是一个问题。

20. MySQL 5.6 新特性

  1. 很多优化器上的改进:
    • 这些改进会使你的查询更加自动;
    • join_buffer_size 有了新的意义,意味着该值大于 32 M,会有比较好的效果;
  2. 本文专注于索引设计上的实践,其中最重要的一个是 ICP(索引条件下推)。

21. 理解 ICP

  1. 下推一些过滤条件到引擎层:NAME LIKE “%ill%” 不能使用 range 过滤;
  2. 更加灵活的覆盖索引:一些过滤在引擎层就完成了;
  3. 5.5 之前:在范围内就会读取全部的数据。

22. ICP 举例

  1. SELECT A … WHERE B=2 AND C LIKE “%ill%’
    • MySQL 5.5 and below:
      • KEY (B) – Traditional. Using index for range only
      • KEY (B,C,A) - 覆盖索引,用到的列都在索引中;
    • MySQL 5.6
      • KEY(B,C):通过 B 找到数据范围; 会根据 C 读取所有的列查找满足条件的数据;
  2. SELECT * …WHERE A=5 and C=6 ;
    • KEY (A,B,C):Will scan all index entries with A=5 not all rows。

23. 怎么选择使用哪一个索引?

  1. 对于每一个查询动态的选择索引:查询文本中的常量非常重要;
  2. 通过下潜到表中,估算每个索引需要问访问的列数;
  3. 使用基数统计,这个会分析表的更新。

24. 用 EXPLAIN

EXPLAIN 是一个非常好的查看数据库怎么执行查询的工具:

  • https://dev.mysql.com/doc/refman/5.5/en/using-explain.html
  • 需要记住真是的执行可能和 EXPLAIN 不同
  • 5.6 中可以使用 json 格式化 EXPLAIN 的结果:
    • EXPLAIN FORMAT=JSON SELECT * FROM t1 JOIN t2 ON t1.i = t2.i WHERE t1.j > 1 AND t2.j < 3;

25. 索引策略

  1. 对于关键的查询建立索引,需要整体来看索引,不要单独的看;
  2. 最好的对于 WHERE 和 JOIN 的所有查询条件使用索引,至少也是大部分条件;
  3. 多数情况下拓展现有索引,不要新建索引;
  4. 作出改变的时候,验证一下性能的影响,把所有的查询都执行一遍。

26. 索引示例

  1. 索引要有利于多个查询:
    • SELECT * FROM TBL WHERE A=5 AND B=6
    • SELECT * FROM TBL WHERE A>5 AND B=6
    • KEY (B,A) Is better for such query mix
  2. 把最有选择性的条件放在索引第一位;
  3. 对于非关键查询,可以不增加索引,索引太多会影响性能。

27. 技巧

  1. 假设索引的顺序是 KEY(A,B)
    • SELECT * FROM TBL WHERE A BETWEEN 2 AND 4 AND B=5:只会用到索引的第一部分;
    • SELECT * FROM TBL WHERE A IN (2,3,4) AND B=5:会用到整个索引。
  2. 增加 FAKE 过滤,例如 KEY(GENDER,CITY),想要只使用一个索引:
    • SELECT * FROM PEOPLE WHERE CITY=“NEW YORK”:不会用到索引;
    • SELECT * FROM PEOPLE WHERE GENDER IN (“M”,”F”) AND CITY=“NEW YORK”:会使用索引;
    • 这个技巧对于低选择的列非常有用,例如性别、状态、布尔类型等。

    个人理解:对于 key,如果想使用后面的列,要想走索引的话,可以把前面的列全部列出来,当然,前面的列的可能数最好比较小。

  3. 文件排序,例如只有 KEY(A,B):
    • SELECT * FROM TBL WHERE A IN (1,2) ORDER BY B LIMIT 5:不会使用索引;
    • (SELECT * FROM TBL WHERE A=1 ORDER BY B LIMIT 5) UNION ALL (SELECT * FROM TBL WHERE A=2 ORDER BY B LIMIT 5) ORDER BY B LIMIT 5:会用到索引,排序只会排列 10 行。

联系人

Email: [email protected]

以上是关于MySQL 索引最佳实践的主要内容,如果未能解决你的问题,请参考以下文章

Mysql 索引:查询生成器的最佳实践

MySQL性能优化的21个最佳实践 和 mysql使用索引

MySQL性能优化的21个最佳实践 和 mysql使用索引

mysql性能优化-慢查询分析,优化索引最佳实践

夯实Mysql基础MySQL性能优化的21个最佳实践 和 mysql使用索引

ySQL性能优化的21个最佳实践 和 mysql使用索引