检测解决SQLServer延迟阻塞I/O问题

Posted 2023-05-06

参考技术A 　　摘要 本文探讨了 SQL Server Service Pack 中的报告工具如何显著减少为识别和确定延迟和阻塞 I/O 操作的根源所花费的时间 　　　　 简介　　 　　像 SQL Server 这样的数据库管理系统依赖于文件输入/输出操作的及时进行 有故障或配置不当的硬件 固件设置 筛选器驱动程序 压缩 程序错误以及 I/O 路径内的其他情况都可能导致阻塞或延迟 I/O 问题 并且很快对 SQL Server 性能产生消极影响 　　　　上述问题对 SQL Server 的影响因问题细节的不同而差异很大 但它们通常导致阻塞 锁存器争用和超时 过长的响应时间以及资源的过度利用 　　　　阻塞 I/O 是指必须进行外部干预才能完成的 I/O 请求（通常是 I/O 请求包 (IRP)） 这种状况通常需要执行完整的系统重新启动或类似操作才能解决 并且强烈表明硬件有故障或者在 I/O 路径组件中存在程序错误 　　　　延迟 I/O 是指无需干预即可完成但所花时间超过预期时间的 I/O 请求（同样 这通常是 IRP） 这种状况的原因通常是硬件配置 固件设置或筛选器驱动程序干预 需要硬件或软件供应商提供帮助以便跟踪和解决 　　　　SQL Server SP 包含数据库和日志文件 I/O（读和写）逻辑以便检测延迟和阻塞状况 当 I/O 操作经过 秒钟或更长时间仍未完成时 SQL Server 会检测到并报告这一状况 以下消息将被记录到 SQL Server 错误日志中 　　　　 : : spid SQL Serverhas encountered 　　occurrence(s) of IO requests taking longer than seconds to plete　　on file [E:\\SEDATA\\stressdb ndf] in database [stressdb] ( ) The OS　　file handle is x D The offset of the latest long IO is:　　x 　　　　该消息表明 当前工作负载需求超出了 I/O 路径或当前系统配置和功能 或者 I/O 路径含有不能正常工作的软件（固件 驱动程序）或硬件组件 　　　　所记录的错误信息提供了以下信息 　　　　### occurrences — 未能在 秒钟以内完成读或写操作的 I/O 请求的数量 　　　　File information — 完整的文件名 数据库名和受影响文件的 DBID 　　　　File handle — 该文件的操作系统句柄 可以通过调试器和其他实用工具来使用这一信息跟踪 IRP 请求 　　　　Offset — 上一个阻塞或延迟 I/O 的偏移量 可以通过调试器和其他实用工具来使用这一信息跟踪 IRP 请求 （注 在记录该消息的时候 该 I/O 可能不再阻塞或延迟 ）　　　　 记录与报告 　　　　I/O 的报告和记录是按照文件执行的 延迟和阻塞 I/O 请求的检测和报告是两个不同的操作 　　　　检测（记录）是在 SQL Server 内部的两个位置处理的 第一个位置是在 I/O 实际完成的时候 如果请求花费了 秒钟以上 则发生记录操作 第二个位置是在延迟写入器进程执行的时候 当延迟写入器执行时 它包含新的对所有挂起的数据和日志文件 I/O 请求进行检查的操作 并且 如果已经超过了 秒钟的阈值 则会发生记录操作 　　　　报告是按照不低于 分钟的时间间隔执行的 当对文件进行下一次 I/O 请求时 发生报告操作 如果记录操作已经发生 并且自上一次报告发生以来已经过去了 分钟或更长时间 则向错误日志中写入新的报告（上面显示的错误消息） 　　　　 秒钟的阈值当前是不可调整的 尽管不推荐这样做 但您可以用跟踪标志 完全禁用延迟和阻塞 I/O 检测 在 SQL Server 启动期间设置启动参数 –T 可以禁用延迟/阻塞 I/O 检测 使用 dbcc traceon( ) 可以禁用对当前正在运行的 SQL Server 实例的检测 只有重新启动 SQL Server Dbcc traceon 才会生效 　　　　注 延迟或阻塞的给定 I/O 请求只会报告一次 如果消息报告 个 I/O 被延迟 则这 个报告不会再次发生 如果下一个消息报告 个 I/O 被阻塞 则表明 个新的 I/O 请求已经被延迟 　　　　 性能和计划操作 　　　　总体系统性能可能在 I/O 处理中扮演关键的角色 在研究延迟或阻塞 I/O 的报告时 应该考虑系统的综合运行状况 过多的负载可能导致整个系统（包括 I/O 处理）变慢 系统在发生问题时的行为可能是确定问题根源的关键所在 例如 如果 CPU 利用率在发生问题时变高或者保持较高水平 则可能表明系统中的某个进程正在消耗如此之多的 CPU 时间 以至于它以各种方式对其他进程产生了消极影响 　　　　请查看性能计数器 Average Disk Sec/Transfer 以及 Average Disk Queue Length 或 Current Disk Queue Length 以获得特定的 I/O 路径信息 例如 SQL Server 计算机上的 Average Disk Sec/Transfer 通常低于 ms 如果该值上升 则可能表明 I/O 子系统无法满足 I/O 要求 　　　　请记住 SQL Server 充分利用了 Windows 的异步 I/O 功能 并且猛烈地扩展磁盘队列长度 因此上述性能计数器具有较高的值本身并不表明存在问题 　　　　 索引和并行性 　　　　特别常见的一种情况是 因为索引丢失以及由此导致的扫描 哈希和排序对 I/O 系统造成的压力 所以突发大量的 I/O 运行一遍 Index Turning Wizard 通常会有助于解决系统的 I/O 压力 如果添加索引可以帮助查询避免表扫描甚至排序或哈希 则系统可以获得多个优点 　　　　减少完成操作所需的物理 I/O 这直接等效于提高查询的性能　　　　数据缓存中只有较少的页面必须周转 因此缓存中的那些页面可以一直与活动查询相关　　　　 避免不必要的排序和哈希 　　　　可以降低 tempdb 利用率和减少争用情况　　　　减少资源利用率和/或并行操作 因为 SQL Server 不能保证服务器在确定是否将查询并行化时考虑并行查询执行和系统中的负载 所以您最好针对串行执行优化所有查询 在 Q/A 环境中 应该将 max degree of paralleli *** 设置为 以便对根本没有从服务器收到任何并行计划的最糟糕情况强行进行调整 如果在测试环境中证实查询可以按串行方式高效执行 则生产环境中的并行计划可以提供出乎意料的性能改进 但是 很多情况下 SQL Server 选择并行执行 这是因为要遍历数据的绝对数量过于庞大 该数据量通常直接受到索引的影响 例如 如果丢失索引 则可能产生大量排序操作 我们很容易就可以看出 执行排序操作的多个辅助进程如何使响应速度比以串行方式处理排序更快速 不过我们需要了解 该操作可能大幅增加 I/O 系统的压力 当多个辅助进程并发运行时 来自多个辅助进程的大型读请求可能导致 I/O 突发以及 CPU 利用率提高 很多时候 如果添加了索引或者发生了其他调整操作 则可以调整查询以使其更快地运行并使用更少的资源 这不仅提高了相关查询的性能 而且还提高了系统的整体性能 　　　　来自 Microsoft SQL Server Support 的实际示例　　　　Microsoft SQL Server 和 Platforms Escalation Support 已经处理了下列方案 这些方案旨在提供一个参考框架 并且帮助树立有关延迟和阻塞 I/O 情况以及系统可能如何受到影响的预期 不存在给其他软硬件带来任何特殊或更高风险的特殊硬件或驱动程序集 在这个方面 所有系统都是相同的 　　　　 示例 — 阻塞 秒钟的日志写操作 　　　　一个尝试性的 SQL Server 日志文件写操作周期性地阻塞 秒钟 该日志写操作无法及时完成 从而产生阻塞情况 导致 秒钟的客户端查询超时 　　　　请求被提交并阻塞（日志写挂起） 导致查询继续占用锁并且阻塞来自其他客户端的传入请求 其他客户端开始超时并且使问题变得复杂 这是因为应用程序没有被设计为在发生超时的时候回滚尚未解决的事务 这会导致数以百计尚未解决的事务占用锁以及严重的阻塞 应用程序使用连接池来维护 Web 站点 因此 随着更多的连接被阻塞 Web 站点创建了更多的连接 而这些连接又会被阻塞 该循环会一直持续下去 　　　　在大约 秒钟之后 该日志写操作将完成 但到此时为止 数以百计的连接已经积累起来 从而导致阻塞问题 并使得 SQL Server 和应用程序需要花费几分钟的时间进行恢复 当与应用程序问题结合起来的时候 延迟 I/O 状况会对系统产生非常消极的影响 　　　　解决办法 这归因于 HBA 驱动程序中的延迟 I/O 请求 计算机具有多个带有故障转移支持的 HBA 卡 故障转移超时值被配置为 秒 当一个 HBA 落后或者在 秒钟或更长时间内未与 SAN 通信时 该 I/O 请求被路由到第二个 HBA 进行处理 并且会很快完成 硬件产品的推荐故障转移设置为 秒钟 以便避免出现这样的延迟状况 　　　　如果在 SQL Server SP 中已经有了新的自动报告该状况的功能 那么我们在疑难解答过程中就可以很快知道 基本问题是由于 SQL Server 外部的问题而发生的阻塞或延迟 I/O 操作 事实上 我们花费了大量时间来解决一个在最初呈现为普通性能问题的问题 　　　　 示例 — 筛选器驱动程序干预 　　　　许多防病毒软件和备份产品使用 I/O 筛选器驱动程序 这些筛选器驱动程序成为 I/O 请求栈的一部分 并且可以访问 IRP 请求 Microsoft 技术支持部门已经遇见过各种问题 — 从导致阻塞 I/O 的错误到筛选器驱动程序实现中的延迟状况 　　　　其中 Microsoft SQL Server 技术支持部门遇到的一种情况是 涉及到用于备份处理（该过程能够备份在备份时处于打开状态的文件）的筛选器驱动程序 系统管理员错误地在文件备份选择中包括了 SQL Server 数据文件目录 当备份发生时 它试图收集备份开始时文件的一致镜像 在完成该操作时 它将延迟后续的 I/O 请求 使它们能 lishixinzhi/Article/program/SQLServer/201311/22220

linux i/o multiplexing

socket也是io的一种，阻塞的socket操作包括：

• 输入：recv(), recvfrom()，缓冲区为空时阻塞
• 输出：send(), sendto()，缓冲区为空时阻塞
• 接受：accept()，无连接时阻塞
• 连接：connect()，无响应时阻塞，对TCP连接而言会阻塞一个服务器往返时间

解决方案比较：

	select	poll	epoll
操作方法	遍历	遍历	回调
底层实现	数组	链表	哈希表
效率	O(n)	O(n)	O(1)
最大连接数	1024(x86), 2048(x64)	无限制	无限制
fd拷贝	每次调用都需要将fd集合从用户态拷贝到内核态	每次调用都需要将fd集合从用户态拷贝到内核态	调用epoll_ctl时拷贝进内存，之后每次epoll_wait不再拷贝