正确统计SQLServer的慢日志

Posted 2020-08-20 有梦就能实现

RDS的一个富有吸引力的服务是为用户提供慢日志的运行状况报告。报告从不同的维度（总执行时间，总执行次数，总逻辑读，总物理读）为用户提供TOP20的SQL。RDS希望在为用户提供稳定，快速服务的同时，用户可以从RDS得到更有个性化的优化建议。

这些信息很重要，用户可以有针对性地采取一些措施提高系统的性能。比如：对于那些总执行次数很多的SQL，用户可以在涉及到这些SQL的业务中加入缓存；如果某个SQL的总逻辑读很多，那么，用户极有必要为这些SQL涉及的字段添加缓存（从RDS缺失索引推荐服务的结果看，这类总逻辑读很多的SQL得到索引推荐的可能性很大）。

下面是一个报表的例子：

我们需要得到某一个时间段的SQL统计信息，比如某一天的运行状况。为了得到SQLServer的SQL统计信息，我们做了一些非常有意思的工作，原因在于SQLServer没有直接提供“某个时间段”的SQL运行信息。但是，SQLServer的sys.dm_exec_query_stats视图提供了SQL即时的运行统计信息（我们主要关注execution_count，total_elapsed_time，total_logical_reads，total_physical_reads这四个指标），这些统计信息是不断增长的，并且这些统计信息极有可能从缓存中换出。也就是说，如果某个SQL的统计信息不从缓存中换出，那么这些统计项的值是不断累加的，比如，昨天你看到execution_count是120，今天你会看到execution_count是230，到了明天，execution_count的值可能就是512。

为了得到“某个时间段的统计信息”，我们需要采取一些措施才行。核心的算法由 @鹿久 同学提供，其思想就是定期为sys.dm_exec_query_stats打快照（snapshot），然后根据快照计算快照的差值，从而得到某个时间段的运行状况统计信息。

例如，在1：00时，我们打了一次快照，此时某个SQL的execution_count的值是100, 在6:00时，我们再次打了一次快照，此时execution_count的值是120，在23:00时，我们又打了一次快照，此时execution_count的值是900。通过快照的信息，我们可以得知a) 1:00到6:00之间，该SQL执行了20次，b) 在1:00到23:00之间，该SQL执行了800次。我们可以大约得知，该SQL当天执行了800次。

RDS目前每一小时打一次快照，每8小时对当前的快照进行汇总，生成报表。下面是RDS大快照的一段记录：

此外，RDS重点对这些慢日志进行分析，提供了缺失索引推荐服务。