SAN光纤通道的多路径选择

Posted 2023-03-09

参考技术A 1、理论知识准备

        在服务器HBA卡--光纤通道--光线交换机--存储设备的SAN 环境中，往往存在很多冗余链路，那问题就来了，在实际应用中，数据流量到底是选择的那条路径呢？如果其中一条链路故障后，虚拟化平台又是如何由故障链路切换到正常链路呢？

        以vSphere6.0为例，Pluggable Storage Architecture(PSA)可插拔存储架构，如下图。该模块包括： 原生多重路径插件（NMP）、存储阵列类型插件（SATP）、路径选择插件（PSP）、多重路径插件（MPP） 。每台ESXi主机、每条LUN上都包含这四个其中几个模块的组合。一般不需要特殊配置（系统默认）。

        NMP 负责MPIO（多路径I/O）整体行为和阵列识别，直接使用由SCSI查询得到的阵列SCSI Array ID；

        SATP 处理指定存储阵列的路径恢复和确认LUN的故障恢复类型，监控、撤销和激活为NMP提供信息的路径，激活主动-被动阵列的被动路径。通过esxcli storage nmp satp list命令查看SATP模块状态。

        PSP 负责处理每一个I/O的实际路径。通过esxcli storage nmp pmp list命令查看PSP模块状态。vSphere一般包含3个PSP，每个PSP执行不同的路径选择方式：最近使用路径（可以看到故障-正常的切换）、固定路径（预配置、第一个发现的路径、随机路径）、循环选择路径（默认配置。在所有可用的路径上循环选择路径，并且在所有路径上启用基本的负载平衡）

        MPP 模块负责增强多重路径功能（精细化，如：主机队列深度、阵列目标端口状态），在它支持的指定LUN上可以替代NMP、SATP和PSP，MPP可以和NMP共存。

2、实际应用背景

        EMC PowerPath/VE第三方插件，支持大量EMC和非EMC阵列。PowerPath/VE可以通过一下急速显著增强负载均衡、性能和可用性。

更好的可用性： 通过主动干预间断路径行为提高可用性、通过提高路径状态检测速度提高可用性、不需要手动扫描的自动化路径发现行为以提高可用性。

更好的性能： 1、使用加权算法的路径选择优化提高性能，这在不对等的情况下至关重要。2、通过监控和调整ESXi主机队列深度选择一个指定I/O的路径，将工作负载从高使用度路径转移到地使用率的路径上，从而提高性能。3、通过基于阵列端口队列（通常是第一个拥塞点，一般会同时影响所有的ESXi主机，如果没有提前处理，它们一般会在ESXi集群上产生并发路径选择问题）的预判性优化提高性能。

3、通过路径选择，优化队列的重要性

        在SAN环境中，在服务器HBA端口和LUN层以及整个阵列层都存在队列。先了解几个概念。 服务时间： 从队列取数+阵列处理I/O请求所需要的时间。 队列深度： 数据加载到队列的速度，以及从队列取数据的速度。

        阵列服务时间影响着工作负载、写缓存、存储处理器，决定着存储性能是否能让虚拟机正常运行。但队列溢出时，说明存储配置不足以支持工作负载的稳定运行，无法支持峰值负载，上游就会降低I/O速度。使用resxtop命令+U健打开存储界面，队列信息就会显示在QUED列上。

        如果队列溢出不是由短期峰值引起，而是因为配置值达不到稳定状态工作负载要求，那么增加队列深度可能产生副作用（增加服务延迟时间，队列仍然会溢出）。主要原因是LUN队列和阵列服务时间不匹配。因此，在增加LUN队列之前，一定要检查阵列的服务时间，如果I/O请求响应时间大于10毫秒，那么必须提升服务速度，常用的做法是给LUN 增加锭子，或者将加快LUN处理速度。