AIX小机重启后磁盘missing引发的故障

Posted 2020-10-09 tonnytangy

这个是之前遇到的一个故障，这里总结分享下

 

 

【故障现象】

  1、数据库服务器在重启之后，有个VG-othervg在激活的时候提示

2、在起数据库的时候，只能启动到mount状态，在open的时候提示

【问题分析】

1、由于部分lv无法读取，先查看该lv所在的VG状态，并查看该lv的权限

1      #lslv  dw_sys_104    --看出所在vg为othervg
2      #ls -l /dev/rdw_sys_104   --查看权限为oracle10:dba

2、用lsvg -p othervg 查看其中的一个vpath388盘的状态为“missing”

3、查看vpath388盘的对应关系

1 #lsvpcfg |grep vpath388
2 vpath388 (Avail pv othervg) 75BHKN10232 = hdisk884 (Avail ) hdisk1226 (Avail )

4、到DS8100存储通过LUNID号232查看盘状态正常，并未有锁

5、lscfg -vl vpath388 和lsattr -El vpath388查看该盘的属性

6、datapath query adapter  --查看链路状态正常

初步判断为盘的信息丢失

【处理措施】

1、rmdev -d vpath388

2、cfgmgr 扫出来的vpath388的pvid号丢失，多次尝试依然无效

3、varyonvg othervg 提示：

0516-008 varyonvg: LVM system call returned an unknown error code (3).

4、readvgda vpath388 

Invalid lvm_rec!

00000E00   00000000 00000000 00000000 00000000  |................|

00000E10   00000000 00000000 00000000 00000000  |................|

00000E20   00000000 00000000 00000000 00000000  |................|

00000E30   00000000 00000000 00000000 00000000  |................|

00000E40   00000000 00000000 00000000 00000000  |................|

00000E50   00000000 00000000 00000000 00000000  |................|

--查看该盘的表头信息缺失，查看othervg中别的盘都有信息

5、lquerypv -h /dev/vpath388

00000000   00000000 00000000 00000000 00000000  |................|

00000010   00000000 00000000 00000000 00000000  |................|

00000020   00000000 00000000 00000000 00000000  |................|

--查看信息同样为空

6、dd if=/dev/vpath388 of=/dev/null bs=256k count=500  --用该命令查看该盘能正常读，说明盘没有被锁

7、经联系IBM原厂给出的处理建议：修复该盘：

Action plan:                                                    
1) upload the file vpath388.head to /tmp dir                    
2)  # dd if=/dev/vpath376 of=/dev/vpath388 bs=512k count=137     
     # dd if=/tmp/vpath388.head of=/dev/vpath388 bs=512k count=1  
     # rmdev -dl vpath388     
     # cfgmgr                                                          
   to recognize the vpath388                                         
     # lspv ! grep vpath388                                            
   to check pvid of vpath388 has changed back to 00cdcf7b33230541    
     # exportvg othervg                                                
     # importvg -y othervg vpath33  

 

注：

 # readvgda vpath33 > /tmp/vgda/readvgda.vpath33                      

 # lqueryvg -Atp vpath33 > /tmp/vgda/lqueryvg.out                                       

# lquerypv -h /dev/vpath33 > /tmp/vgda/lquerypv.out

datapath open device 388 path hdisk886

datapath open device 388 path 0

datapath remove 388 path 0