如何查看mysql 导入进度

Posted 2023-05-06

有时候我们会不小心对一个大表进行了 update，比如说写错了 where 条件......

此时，如果 kill 掉 update 线程，那回滚 undo log 需要不少时间。如果放置不管，也不知道 update 会持续多久。

那我们能知道 update 的进度么？

实验

我们先创建一个测试数据库：

快速创建一些数据：

连续执行同样的 SQL 数次，就可以快速构造千万级别的数据：

查看一下总的行数：

我们来释放一个大的 update：

然后另起一个 session，观察 performance_schema 中的信息：

可以看到，performance_schema 会列出当前 SQL 从引擎获取的行数。

等 SQL 结束后，我们看一下 update 从引擎总共获取了多少行：

可以看到该 update 从引擎总共获取的行数是表大小的两倍，那我们可以估算：update 的进度 = (rows_examined) / (2 * 表行数)

💡小贴士

information_schema.tables 中，提供了对表行数的估算，比起使用 select count(1) 的成本低很多，几乎可以忽略不计。

那么是不是所有的 update，从引擎中获取的行数都会是表大小的两倍呢？这个还是要分情况讨论的，上面的 SQL 更新了主键，如果只更新内容而不更新主键呢？我们来试验一下：

等待 update 结束，查看 row_examined，发现其刚好是表大小：

那我们怎么准确的这个倍数呢？

一种方法是靠经验：update 语句的 where 中会扫描多少行，是否修改主键，是否修改唯一键，以这些条件来估算系数。

另一种方法就是在同样结构的较小的表上试验一下，获取倍数。

这样，我们就能准确估算一个“不小心”执行的大型 update 的进度了。

参考技术A

查看log日志是否开启show variables like 'general_log'set GLOBAL general_log='ON';SET GLOBAL general_log_file = '/tmp/mysql.log'不使用的时候记得关掉，否则会大量占用磁盘空间。

show processlist命令查看了当前正在执行的sql语句,同时可以查看用户的当前连接

查看慢日志show variables like '%slow_query_log%';show variables like 'long_query_time%';设置慢日志记录什么样的SQL，默认10slog-queries-not-using-indexes：未使用索引的查询也被记录到慢查询日志中,一般也开启这个变量

show status查看mysql运行状态（to learn）比如查看mysql中有多少条慢查询记录： show global status like '%Slow_queries%';

如何查看mysql执行进度

有时候我们会不小心对一个大表进行了 update，比如说写错了 where 条件......

此时，如果 kill 掉 update 线程，那回滚 undo log 需要不少时间。如果放置不管，也不知道 update 会持续多久。

那我们能知道 update 的进度么？

实验

我们先创建一个测试数据库：

快速创建一些数据：

连续执行同样的 SQL 数次，就可以快速构造千万级别的数据：

查看一下总的行数：

我们来释放一个大的 update：

然后另起一个 session，观察 performance_schema 中的信息：

可以看到，performance_schema 会列出当前 SQL 从引擎获取的行数。

等 SQL 结束后，我们看一下 update 从引擎总共获取了多少行：

可以看到该 update 从引擎总共获取的行数是表大小的两倍，那我们可以估算：update 的进度 = (rows_examined) / (2 * 表行数)

💡小贴士

information_schema.tables 中，提供了对表行数的估算，比起使用 select count(1) 的成本低很多，几乎可以忽略不计。

那么是不是所有的 update，从引擎中获取的行数都会是表大小的两倍呢？这个还是要分情况讨论的，上面的 SQL 更新了主键，如果只更新内容而不更新主键呢？我们来试验一下：

等待 update 结束，查看 row_examined，发现其刚好是表大小：

那我们怎么准确的这个倍数呢？

一种方法是靠经验：update 语句的 where 中会扫描多少行，是否修改主键，是否修改唯一键，以这些条件来估算系数。

另一种方法就是在同样结构的较小的表上试验一下，获取倍数。

这样，我们就能准确估算一个“不小心”执行的大型 update 的进度了。

参考技术A

mysql系统变量分为全局变量和会话变量，全局变量的修改影响到整个服务器，会话变量修改只影响当前的会话。

查看log日志是否开启
show variables like 'general_log'
set GLOBAL general_log='ON';
SET GLOBAL general_log_file = '/tmp/mysql.log'
不使用的时候记得关掉，否则会大量占用磁盘空间。

show processlist命令查看了当前正在执行的sql语句,同时可以查看用户的当前连接

查看慢日志
show variables like '%slow_query_log%';
show variables like 'long_query_time%';设置慢日志记录什么样的SQL，默认10s
log-queries-not-using-indexes：未使用索引的查询也被记录到慢查询日志中,一般也开启这个变量

show status查看mysql运行状态（to learn）
比如查看mysql中有多少条慢查询记录： show global status like '%Slow_queries%';