NetApp F3020 盘柜报警升级修复全过程

Posted 2020-06-28

报警错误：

Fri Dec 11 17:00:00 CST [disk.fw.downrevWarning:warning]: 14 disks have downrev firmware that you need to update.
Fri Dec 18 15:48:28 CST [raid.disk.offline:notice]: Marking Disk /aggr0/plex0/rg0/0b.27 Shelf 1 Bay 11 [NETAPP   X274_HPYTA146F10 NA02] S/N [V5VW2ZSA] offline.
Fri Dec 18 15:48:28 CST [bdfu.selected:info]: Disk 0b.27 [NETAPP   X274_HPYTA146F10 NA02] S/N [V5VW2ZSA] selected for background disk firmware update.
Fri Dec 18 15:48:28 CST [dfu.firmwareDownloading:info]: Now downloading firmware file /etc/disk_fw/X274_HPYTA146F10.NA04.LOD on 1 disk(s) of plex [Pool0]...
Fri Dec 18 15:48:39 CST [disk.senseError:error]: Disk 0b.27: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:48:39 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0b.27 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5VW2ZSA].
        ***** Disk firmware could not be downloaded on 1 disk.
        ***** Firmware download failed for this disk: 0b.27

根据官方的文档说明，如果你的系统更新中包含补丁，且你已经开启自动硬盘固件更新（命令：查看是否开启options raid.background_disk_fw_update.enable 手动开启：options raid.background_disk_fw_update.enable on）系统是会自动更新硬盘固件的，但是我这里报警了，没有更新成功；

原因分析：

因为我前面升级了存储系统，而没有升级盘柜和硬盘固件造成了；查看官方文档说明，硬盘更新固件存放在/etc/disk_fw目录下，而盘柜的文件是存放在/etc 目录下的；

不知道是我没有找到对应的命令还是没有这个命令，根据官方文档说明需要mount到根目录，但没有说明具体方法；

解决方法:

1、升级盘柜（disk shelf）

根据要求737SP3版本，需要的盘柜文件为：qual_devices_v3

检测方法：

rdfile /etc/qual_devices_v3

查看了一下不存在此文件；

难怪升级失败，下载对应的配置文件；

根据官方的意思download -d 再disk_fw_update就ok，但我测试了一下，是无法OK的；

不同盘柜文件支持的系统版本：

Contents of Qual devices Package:
qual_devices          For releases prior to 7.2.1
qual_devices_v2       For releases 7.2.1, 7.2.2 and 7.2.3
qual_devices_v2.copy  Backup copy of v2 file
qual_devices_v3       For releases 7.2.4 and later
qual_devices_v3.copy  Backup copy of v3 file

根据官方意思

Mount 存储系统:/vol/vol0 /mnt 目录（在另的LINUX机器上）

Root# mount file:/vol/vol0 /mnt
mount: wrong fs type, bad option, bad superblock on file:/vol/vol0,
       missing codepage or helper program, or other error
       (for several filesystems (e.g. nfs, cifs) you might
       need a /sbin/mount.<type> helper program)
       In some cases useful info is found in syslog - try
       dmesg | tail  or so

然后进行操作，因为我们的存储文件系统是NTFS的无法正常Mount，但可以通过另一种方法操作；

开启cifs服务

Cifs restart

在WEB界面将etc目录共享出来；

注意需要有完全控制权限，不然文件存放不进去

再将对应的文件qual_devices.zip解压后，复制到/etc目录

其实还有一个方法：

上传文件到/etc/software目录

Software get http://192.168.1.1/qual_devices_v3

移动文件至/etc目录

Mv /etc/software/qual_devices_v3 /etc/qual_devices_v3

即可，根据官方说明等待5分钟以后，再更新硬盘固件即可，不需要重启存储，结果我等了5分钟再安装发现不能够正常安装硬盘固件；

再仔细看了一下文件信息发现/etc/disk_fw/X274_HPYTA146F10.NA04.LOD 文件才10KB，于是从官方下载了一个对应的文件680KB，又被坑了！

2、升级硬盘固件

查看硬盘固件信息：

file*> storage show disk -x
DISK  SHELF BAY SERIAL       VENDOR   MODEL            REV
----- --------- ------------ -------- ---------------- ----
0a.16   1    0  V5VT4LNA     NETAPP   X274_HPYTA146F10 NA02
0b.17   1    1  V5VW2BKA     NETAPP   X274_HPYTA146F10 NA02

DISK：硬盘编号，后续升级需要；

MODEL：固件信息

REV：现固件版本

将对应的文件复制到/etc/disk_fw目录，覆盖原有文件，重新更新发现还是报错，不是坑吗？

注意这里需要进入高级模式：

priv set advanced
file*> disk_fw_update                                          
Refreshing information on all the disks.......
Downloading disk firmware can be disruptive to the system.
It involves spinning down and then spinning up all
affected disks, and suspending disk I/O to disks being
downloaded. This delay may cause clients to stop responding,
and may cause CIFS clients to drop sessions.
NOTE: Updating firmware on some Fibre Channel disks
may create an open loop condition which can only be cleared
by power cycling the affected shelf or shelves.
Are you sure you want to continue with firmware update? yes
(You can ignore disk error messages for disks being updated until this
update completes)
file*> Fri Dec 18 15:58:38 CST [dfu.firmwareDownloading:info]: Now downloading firmware file /etc/disk_fw/X274_HPYTA146F10.NA04.LOD on 14 disk(s) of plex [Pool0]...
Fri Dec 18 15:58:49 CST [disk.senseError:error]: Disk 0b.17: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:58:49 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0b.17 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5VW2BKA].
Fri Dec 18 15:58:50 CST [disk.senseError:error]: Disk 0a.28: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:58:50 CST [disk.senseError:error]: Disk 0b.24: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:58:50 CST [disk.senseError:error]: Disk 0b.26: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:58:50 CST [disk.senseError:error]: Disk 0a.21: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:58:50 CST [disk.senseError:error]: Disk 0b.23: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:58:50 CST [disk.senseError:error]: Disk 0a.18: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:58:50 CST [disk.senseError:error]: Disk 0a.25: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:58:50 CST [disk.senseError:error]: Disk 0a.20: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:58:50 CST [disk.senseError:error]: Disk 0b.19: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:58:50 CST [disk.senseError:error]: Disk 0a.16: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:58:50 CST [disk.senseError:error]: Disk 0a.22: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:58:50 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0a.28 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5VW4SZA].
Fri Dec 18 15:58:50 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0b.24 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5WS89VA].
Fri Dec 18 15:58:50 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0b.26 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5VPJGDA].
Fri Dec 18 15:58:50 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0a.21 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5W3N9GA].
Fri Dec 18 15:58:50 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0b.23 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5VLWB6A].
Fri Dec 18 15:58:50 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0a.18 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5VUB9EA].
Fri Dec 18 15:58:50 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0a.25 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5VW2EMA].
Fri Dec 18 15:58:50 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0a.20 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5VW2A9A].
Fri Dec 18 15:58:50 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0b.19 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5VM0UZA].
Fri Dec 18 15:58:50 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0a.16 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5VT4LNA].
Fri Dec 18 15:58:50 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0a.22 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5VW30JA].
Fri Dec 18 15:58:50 CST [disk.senseError:error]: Disk 0b.29: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:58:50 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0b.29 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5VPUMUA].
Fri Dec 18 15:58:50 CST [disk.senseError:error]: Disk 0b.27: op 0x3b sector 0 SCSI:illegal request -  (5 24 0 0)
Fri Dec 18 15:58:50 CST [dfu.fwDownloadFailedWbuf:error]: Write buffer command failed to Disk 0b.27 [NETAPP   X274_HPYTA146F10 NA04] S/N [V5VW2ZSA].

使用命令：

Disk_fw_update 0b.24 单个磁盘更新更新成功（不要问我前面那个10KB的文件有没有试过，试过不行的，哥！）

file*> disk_fw_update 0b.24
Refreshing information on all the disks.......
Downloading disk firmware can be disruptive to the system.
It involves spinning down and then spinning up all
affected disks, and suspending disk I/O to disks being
downloaded. This delay may cause clients to stop responding,
and may cause CIFS clients to drop sessions.
NOTE: Updating firmware on some Fibre Channel disks
may create an open loop condition which can only be cleared
by power cycling the affected shelf or shelves.
Are you sure you want to continue with firmware update? yes
(You can ignore disk error messages for disks being updated until this
update completes)
file*> Fri Dec 18 16:12:16 CST [dfu.firmwareDownloading:info]: Now downloading firmware file /etc/disk_fw/X274_HPYTA146F10.NA04.LOD on 1 disk(s) of plex [Pool0]...
        ***** 13 disks have been identified as having an incorrect
        ***** firmware revision level.
        ***** Please consult the man pages for disk_fw_update
        ***** to upgrade the firmware on these disks.
        ***** Disk drive firmware updated. *****
Fri Dec 18 16:13:08 CST [dfu.firmwareDownrev:error]: Downrev firmware on 13 disk(s)

查看配置更新成功：

file*> storage show disk -x
DISK  SHELF BAY SERIAL       VENDOR   MODEL            REV
----- --------- ------------ -------- ---------------- ----
0a.16   1    0  V5VT4LNA     NETAPP   X274_HPYTA146F10 NA02
0b.17   1    1  V5VW2BKA     NETAPP   X274_HPYTA146F10 NA02
0a.18   1    2  V5VUB9EA     NETAPP   X274_HPYTA146F10 NA02
0b.19   1    3  V5VM0UZA     NETAPP   X274_HPYTA146F10 NA02
0a.20   1    4  V5VW2A9A     NETAPP   X274_HPYTA146F10 NA02
0a.21   1    5  V5W3N9GA     NETAPP   X274_HPYTA146F10 NA02
0a.22   1    6  V5VW30JA     NETAPP   X274_HPYTA146F10 NA02
0b.23   1    7  V5VLWB6A     NETAPP   X274_HPYTA146F10 NA02
0b.24   1    8  V5WS89VA     NETAPP   X274_HPYTA146F10 NA04
0a.25   1    9  V5VW2EMA     NETAPP   X274_HPYTA146F10 NA02
0b.26   1   10  V5VPJGDA     NETAPP   X274_HPYTA146F10 NA02
0b.27   1   11  V5VW2ZSA     NETAPP   X274_HPYTA146F10 NA02
0a.28   1   12  V5VW4SZA     NETAPP   X274_HPYTA146F10 NA02
0b.29   1   13  V5VPUMUA     NETAPP   X274_HPYTA146F10 NA02

好吧一个一个更新算了，更新全部成功！

file*> storage show disk -x
DISK  SHELF BAY SERIAL       VENDOR   MODEL            REV
----- --------- ------------ -------- ---------------- ----
0a.16   1    0  V5VT4LNA     NETAPP   X274_HPYTA146F10 NA04
0b.17   1    1  V5VW2BKA     NETAPP   X274_HPYTA146F10 NA04
0a.18   1    2  V5VUB9EA     NETAPP   X274_HPYTA146F10 NA04
0b.19   1    3  V5VM0UZA     NETAPP   X274_HPYTA146F10 NA04
0a.20   1    4  V5VW2A9A     NETAPP   X274_HPYTA146F10 NA04
0a.21   1    5  V5W3N9GA     NETAPP   X274_HPYTA146F10 NA04
0a.22   1    6  V5VW30JA     NETAPP   X274_HPYTA146F10 NA04
0b.23   1    7  V5VLWB6A     NETAPP   X274_HPYTA146F10 NA04
0b.24   1    8  V5WS89VA     NETAPP   X274_HPYTA146F10 NA04
0a.25   1    9  V5VW2EMA     NETAPP   X274_HPYTA146F10 NA04
0b.26   1   10  V5VPJGDA     NETAPP   X274_HPYTA146F10 NA04
0b.27   1   11  V5VW2ZSA     NETAPP   X274_HPYTA146F10 NA04
0a.28   1   12  V5VW4SZA     NETAPP   X274_HPYTA146F10 NA04
0b.29   1   13  V5VPUMUA     NETAPP   X274_HPYTA146F10 NA04

至此报警解除；

如果你想获取更多原创博文，可加个人微信公众平台：SystemDevOps

本文出自 “东妮学IT” 博客，谢绝转载！