MySQL 8.0新特性--invisible index

Posted 2023-05-13

参考技术A invisible index特点

默认创建的索引都是visible，如果需要invisible索引创建的时候需要指定invisible参数。

默认无法使用invisible index索引，需要开启参数optimizer_switch='use_invisible_indexes=on'才能使用；

使用force index也无法使用，会报错；

索引的visible和invisible属性可以相互转换，即使表很大，这个过程也是很快的；

primary key不能改成invisible;

invisible index作用

在生产环境中，往往一个表是非常大的，我们想要测试一条SQL不使用某个索引的执行效率，如果直接删除这个索引，可能代价比较大，但是把索引改成不可见模式，再去测试，时间是很快的。

mysql>createindexidx_emp_noont_group(emp_no)invisible;Query OK,0rowsaffected(0.22sec)Records:0Duplicates:0Warnings:0mysql>showindexfromt_group;+---------+------------+------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+---------+------------+|Table|Non_unique|Key_name|Seq_in_index|Column_name|Collation|Cardinality|Sub_part|Packed|Null|Index_type|Comment|Index_comment|Visible|Expression|+---------+------------+------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+---------+------------+|t_group|1|idx_emp_no|1|emp_no|A|10|NULL|NULL||BTREE|||NO|NULL|+---------+------------+------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+---------+------------+1rowinset(0.08sec)mysql>descselect*fromt_groupwhereemp_no=31112;+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-------------+|id|select_type|table|partitions|type|possible_keys|key|key_len|ref|rows|filtered|Extra|+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-------------+|1|SIMPLE|t_group|NULL|ALL|NULL|NULL|NULL|NULL|10|10.00|Usingwhere|+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-------------+1rowinset,1warning(0.00sec)mysql>descselect*fromt_groupforceindex(idx_emp_no)whereemp_no=31112;ERROR1176(42000):Key'idx_emp_no'doesn't exist in table 't_group'

mysql> desc select /*+ set_var(optimizer_switch='use_invisible_indexes=on')*/*fromt_groupwhereemp_no=31112;+----+-------------+---------+------------+------+---------------+------------+---------+-------+------+----------+-------+|id|select_type|table|partitions|type|possible_keys|key|key_len|ref|rows|filtered|Extra|+----+-------------+---------+------------+------+---------------+------------+---------+-------+------+----------+-------+|1|SIMPLE|t_group|NULL|ref|idx_emp_no|idx_emp_no|4|const|1|100.00|NULL|+----+-------------+---------+------------+------+---------------+------------+---------+-------+------+----------+-------+1rowinset,1warning(0.00sec)

========================================================

mysql> alter table city alter index idx_name visible;

Query OK, 0 rows affected (0.04 sec)

Records: 0  Duplicates: 0  Warnings: 0

mysql> desc select * from city where Name ='Qandahar'\G;

*************************** 1. row ***************************

          id: 1

  select_type: SIMPLE

        table: city

  partitions: NULL

        type: ref

possible_keys: idx_name

          key: idx_name

      key_len: 35

          ref: const

        rows: 1

    filtered: 100.00

        Extra: NULL

1 row in set, 1 warning (0.00 sec)

ERROR:

No query specified

mysql> alter table city alter index idx_name invisible;

Query OK, 0 rows affected (0.05 sec)

Records: 0  Duplicates: 0  Warnings: 0

mysql> desc select * from city where Name ='Qandahar'\G;

*************************** 1. row ***************************

          id: 1

  select_type: SIMPLE

        table: city

  partitions: NULL

        type: ALL

possible_keys: NULL

          key: NULL

      key_len: NULL

          ref: NULL

        rows: 1

    filtered: 100.00

        Extra: Using where

1 row in set, 1 warning (0.00 sec)

参考链接

8.3.12 Invisible Indexes

mysql 占用大量写I/O

zabbix告警，发现某台存放监控数据的数据库主机CPU的IOwait较高，一直持续较长时间。

登录服务器查看磁盘IO发现队列高达90%多，而且经常反复如此

通过iotop查看发现占用io较大的进程是mysql

登录mysql查看show processlist，发现基本上每次io队列较高时都是在insert时，以为是插入语句有问题，于是打开mysql慢查询日志，观察一段时间磁盘io仍然较高，但是发现并没有任何慢查询语句；  查找关于mysql IO问题优化资料，《【转载】sync_binlog和innodb_flush_log_at_trx_commit 浅析》说到 sync_binlog和innodb_flush_log_at_trx_commit 两个参数，这两个参数是控制MySQL 磁盘写入策略以及数据安全性的关键参数

 

由于这台主机作为监控服务数据库，所以在部署之初没有做太多优化，配置基本保持默认，所以在每次事务提交都对应一次写操作，导致写操作太过频繁。  于是修改sync_binlog和innodb_flush_log_at_trx_commit参数    

set global sync_binlog=500; 

set global innodb_flush_log_at_trx_commit=2;

 

 修改完sync_binlog和innodb_flush_log_at_trx_commit两个参数后，观察一段时间发现CPU的IOwait明显降低

 查看参数设置

show variables like \'%sync_binlog%\';

show variables like \'%innodb_flush_log_at_trx_commit\';