实战利用LVM卷镜像技术实现不停业务的数据在线迁移，核心存储升级混闪V7000F 转

Posted 2022-12-01 dahaoran

 

 

实战利用LVM卷镜像技术实现不停业务的数据在线迁移，核心存储升级混闪V7000F

一、介绍

所有数据从旧设备到新设备实现了高速在线迁移，业务系统进行了无缝衔接。整个迁移、切换过程关键设备零重启，对用户正常操作ERP画面未造成任何影响。

二、目的和意义

存储设备运行更加稳定

新的IBM V7000存储（2076-624）属于V7000系列的第三代产品，2016年9月投入市场。存储系统的设计从控制器、数据通道、I/O接口，到磁盘环路都是采用冗余结构，理论上不存在系统本身的单点故障问题。该产品依靠其卓越的稳定性、可靠性及独特的人性化配置界面在市场占有率上一直位居前列，在同行中具有良好的口碑。

设备性能显著提高

ERP核心存储中存放的数据多为ERP应用和DB2数据库数据，数据处理类型多为OLTP联机事务处理，对数据处理的响应速度有较高的要求，因此新存储应优先考虑其IOPS性能指标，即单位时间内的存储系统能够处理的IO请求数量，使新存储有较高的随机数据访问处理速度。另一方面，新存储系统应有较高的存储缓存性能，较大的存储缓存会显著提高存储的读写速度。

旧的存储系统配置为16GB缓存，24块300GB 转速为10000RPM的普通SAS硬盘，存储机型的CPU和缓存性能较低，并且由于硬盘的转速较低，存储无法提供更多的IPOS读写，存在一定的性能瓶颈，限制了存储数据读写访问速度。

新的存储系统配置为双控制器，256GB高速缓存，8个16Gbps光纤接口，冗余电源等特性，存储硬盘为6块单盘1.92TB Flash固态闪存硬盘+8块900GB 转速为15000RPM的SAS硬盘，无论是从容量的扩展性还是系统CPU、缓存性能方面都有了较大提升，完全能够满足当前和未来五年内的ERP数据量需求。

三、技术介绍

LVM Mirror（Logical Volume Manager Mirror）：逻辑卷管理器的数据镜像技术。这是一种双磁盘系统数据同步复制机制，是基于IBM主机系统和IBM存储系统相互配合使用的，是目前技术成熟度高，实施快速简便，应用行之有效的数据冗余方式。

新增存储设备后的拓扑：

新映射的卷在AIX系统中通过HACMP高可用集群软件加入到原来的VG卷组中，通过卷镜像技术实现数据的同步复制。

 

为了实现数据的同步，我们利用数据镜像功能LVM，为已有的磁盘A（下图所示之“VG中原逻辑卷LV”）上的生产数据添加一个拷贝，并将其镜像设备指定为磁盘B（下图所示之“VG中新增逻辑卷LV”）。

正常工作模式下，数据的写入操作可以用下图说明：

 

生产系统对磁盘A数据的任何更新都实时地写入磁盘B中，二者的更新方式可以选择顺序方式或者并行方式，建议使用并行方式（双写模式）以增加整体性能。

四、 方案选型与设计

1、技术路线

考虑到之前旧存储磁盘读写性能瓶颈问题，尤其是数据库读写频繁的情况下，数据库所在hdisk的busy使用率一直居高不下。在选型中优先考虑闪存盘。

关于V7000升级到闪存，经过调研了解，主要有三条路线如下：

成本较低，比较老的一代V7000可以新购5030F来满足闪存功能；二代及以上V7000可以直接加闪盘升级为V7000F。

如果用户已有虚拟机的功能，可以升级到V7000G3（V9100低配版）来实现闪存功能。

如果对闪存的性能要求较高，做长远的规划，可以购买起配容量较高的F900/FS9100（压缩能力强），性价比高。

2、适用场景

V7000F：

配置：最大八控制器；最大1024GB缓存；每控制器10核Intel CPU；64个前端FC接口；支持24块盘2U扩展柜；支持96块盘5U扩展柜；支持Flash。支持SAS、NL_SAS。适用于大部分的应用场景，具有丰富的存储功能。V7000F的性能与所配置的闪存盘的数量有很大关系。由于其可以根据企业业务自身需求情况，配置闪存盘数量，所以对于业务压力不是极端条件下的系统，此方案在性价比上非常不错。

 

 

V7000G3：

关于V7000G3，没有找到太多详细资料，个人对此产品不是十分了解。在此就放上找到的两种产品资料图，作为代表。

 

 

F900：

全闪存F900适用于用户需要极致的IO响应速度，对于存储功能要求少的场景，或者结合SVC来使用。F900特别适用于关键应用加速、AI模型训练等场景。第一代F900配置12个模块的SPC-1测试为40多万IOPS，而且响应时间都在0.5ms以内。比较适合的场景如：

•在线交易处理（OLTP）

•在线分析处理（OLAP）

•虚拟桌面基础架构（VDI）

•云规模的基础架构

•计算型应用

talkwithtrend社区（twt社区）内有详尽的F900技术手册及应用场景介绍，在此我就不进行过多介绍了，有兴趣的可以在社区进行搜索。

经过充分考虑，在本方案中，新购一台IBM V7000作为新的核心存储系统，原存储充分利旧，作为容灾备用存储。新存储中创建与原存储具有相同容量和数量的存储卷，影射给主机。在主机操作系统中通过HACMP高可用软件将新增逻辑卷加入到原卷组VG中做LVM的卷镜像，数据同步的过程可全程在线操作，数据复制在后台完成，整个过程无需对业务进行停机。当数据初次复制完成后，新购存储卷将与原来的存储卷保持数据同步的一致性关系，新业务产生的数据将在两套存储中各写一份。

五、具体实现

1、迁移前的的准备工作：

机房现状梳理：

主要是为了充分了解机房实际运行环境，规划设备安装位置，确定其他主机存储设备状态，包括小型机、光纤交换机等，收集交换机zone和端口状态信息，并在了解当前和未来具体技术需求后，确认本次项目的技术实施方案，与业务单位协调实施计划等。

设备到货安装：

新存储到货之后，协调仓库验货签收。在对设备进行初步外观检验后，将设备运送至机房并拆箱上架安装，将设备安装至机柜，并连线到光纤交换机，对新设备进行加电初始化，在初始化步骤完成后，登录存储管理界面检查系统硬件配置是否符合招标及合同要求。

光纤交换机配置：

在新V7000设备连线后，需要对现有的两台B24交换机的zone进行配置，V7000的A控和B控分别连接两台光交，交换机端口使用12口和13口。

V7000 A控1口连接B24_up的12口，2口连接B24_down的12口

V7000 B控1口连接B24_up的13口，2口连接B24_down的13口

在光交命令行中利用zonecreate命令进行端口配置，cfgadd命令配置config文件，最后cfgsave保存。

1.1、根据原来存储系统的配置情况，记录划分的卷、唯一标识号、与主机间的映射关系等。

1.2、根据旧存储上卷(LUN)的划分情况，对新存储进行相关配置。为方便做镜像，划分卷时容量大小与旧存储上卷大小保持一致。如果需要扩容，请新建卷。配置完成后映射给相关主机。

新V7000的RAID配置：

本次V7000实际配置硬盘包括：6块1.92TB SSD硬盘，8块900GB SAS硬盘。根据实际业务需求，分别创建两个存储池SSD_Pool和SAS_Pool。SSD硬盘和SAS硬盘分别保留一块盘作为热备盘，剩余硬盘分别创建RAID 5，然后分别加入至存储池中。在RAID创建完成后，SSD存储池可用容量约7TB，SAS存储池可用容量约4.9TB。

LUN配置：

根据实际需求，在新V7000中创建LUN，用于后期LVM数据镜像复制，故新创建的LUN大小和数量应与现有V7000保持一致。如需扩容，可新增LUN。

创建主机：

在zone划分完成后，在每台主机系统中运行cfgmgr命令扫描新光纤设备，而后在新V7000中创建主机，按照前期统计的每台主机光纤卡的WWN号分别进行添加。

存储卷映射：

将新创建的LUN按照现有V7000存储的映射关系对每个LUN进行主机映射，映射操作完成后，在AIX操作系统中运行cfgmgr命令即可扫描发现新硬盘，在扫描到磁盘后，在主机系统中查看磁盘状态和链路是否正常，lsdev –Cc disk状态应为可用状态，磁盘多路径链路应为自动聚合。

微码升级：

为保障新购V7000存储的后期稳定运行，将新购V7000存储的微码进行升级，以降低存储软件运行故障风险，升级存储至最新稳定版本7.8.1.7，升级过程约1个半小时。

至此，数据迁移前的各项准备工作已完成。为了数据安全及检测硬件设备运行状况是否稳定，可让新的V7000在没有数据的情况下加电运行一周进行观察。待一切都没有问题后再进行数据迁移操作！

2、数据迁移：

本文以DB2数据库数据同步为例，详细讲述整个操作过程：

2.1、新存储上划分卷lun_db1\lun_db2，卷容量大小建议与原存储上卷相等，便于后面做镜像。（图中lun_db3为以后扩容卷）

 

按照规划，DB01上的数据库卷运行与SSD固态盘池中，其余文件系统运行于SAS普通盘池中。

如果需要扩容，可以新建卷，等数据同步完毕后再扩容。

2.2、根据HA高可用规则，将共享卷映射给主机DB01。

 

2.3、DB01小机AIX系统中运行cfgmgr –v 刷新设备。lspv查看新映射过来的物理设备。新卷hdisk6和hdisk7无PVID号。

此时，AP01已经迁移完毕。hdisk2是原存储上的apvg。hdisk5是新存储上的卷。我们的目标是将新卷hdisk6和hdisk7添加到dbvg中，利用hdisk3和hdisk4做mirror镜像。

2.4、利用命令chdev –l hdisk6(disk7) –a pv=yes给新磁盘赋予PVID号。

PVID号是磁盘的全局唯一ID号。

2.5、利用命令bootinfo –s hdisk6(hdisk7)可以查看每个磁盘的大小。

当有多个大小不同的卷映射到同一小机时，借助此命令可以帮助用户区分不同的磁盘 。

2.6、将hdisk6和hdisk7分别通过HA集群命令添加至dbvg中。

      #smit cl_admin 进入ha

 

 

选择需要增加卷的VG

 

根据PVID号选择需要加入VG中的新卷hdisk6。再来一遍添加hdisk7，此处不能同时选择两个或多个卷。

2.7、验证是否已经加入VG中。命令# lspv

 

2.8、dbvg内部做镜像，数据做同步。命令# smit cl_admin->Storage->Volume Groups->Mirror a Volume Group

 

选择dbvg后，选择需要同步的目标盘（新盘） hdisk6和hdisk7   同步模式的时候，选择不同步no sync（此时，因为dbvg太大  最好/db2 、/db2backup分别进行同步）

镜像完成后，选择同步。

 

# lsvg -l dbvg

查看vg中的lv个数，通过LV逐个进行数据同步。

 

分别选择db2lv、loglv01、db2backuplv进行同步。

 

2.9、数据同步过程中验证同步进度。# lspv查看同步进度  stale PPs

 

 

图为同步db2backuplv时的过程。stale PPs数逐渐变小，当stale PPs为0时，同步完成。

同步过程中随时关注磁盘性能：

 

数据从hdisk4读出，写入至新卷hdisk7中。数据同步的过程中，新业务数据双写。

 

同步完毕后状态：LPs:PPs=1:2

 

2.10、观察一段时间，验证业务是否正常。

2.11、unmirror vg，选择dbvg中的原卷hdisk3和hdisk4。（此处F7能多选）

 

 

 

2.12、unmirrorvg后，验证dbvg。

 

此时:

LPs:PPs=1:1

hdisk3和hdisk4中的FREE PPs=TOTAL PPs

2.13、dbvg中删除原卷hdisk3和hdisk4。

 

 

 

 

2.14、验证vg

 

2.15、AIX系统中删除旧逻辑卷，旧V7000中取消磁盘映射关系。

 

六、总结

ERP核心数据从旧存储迁移到新存储后，二者性能对比明显：