oracle_使用udev绑定磁盘方法

Posted 2020-09-14 zfox

scsi_id命令发出一个SCSI INQUIRY指令给设备，访问vital product data (VPD)页0x83的数据，那里包含设备的WWID和其他的信息，或者页0x80的数据，那里包含单元序列号（unit serial number）。 scsi_id命令的执行结果（一长串字符）是设备的WWID，当前映射到/dev/sdc（/sys/block/sdc）。每一条到设备的路径和设备上的每一个分区的WWID都是相同的。设备的WWID不会改变，即使将其他的设备添加到系统或者从系统中删除。但是，映射到/dev/sdc的设备可能会改变。这就是为什么需要创建一个静态的设备名。可以根据WWID创建设备名。

一、 如何获取设备WWID
(1) Redhat 5 Enterprise Linux 如下：
#/sbin/scsi_id -g -u -s /dev/sdb
Or
#/sbin/scsi_id -g -u -s /block/sdb
Shell脚本
# for i in `cat /proc/partitions | awk {‘print $4‘} |grep sd`; do echo "### $i: `scsi_id -g -u -s /block/$i`"; done

(2) Redhat 6 Enterprise Linux 如下：
#/sbin/scsi_id -g -u /dev/sdb
Or
#/sbin/scsi_id -g -u /block/sdb
Or
#/sbin/scsi_id --whitelist [--replace-whitespace] [ --device=] /dev/sdb
Shell脚本
# for i in `cat /proc/partitions | awk {‘print $4‘} |grep sd`; do echo "### $i: `scsi_id --whitelist --replace-whitespace /dev/$i`"; done

二、 写入udev .rules

(1) 对于整个盘的绑定写入 99-oracle-asmdevices.rules (文件名，测试可以随便命令)

RHEL5
for i in b c d e f ;
do
echo "KERNEL==\"sd*\", BUS==\"scsi\", PROGRAM==\"/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/\$name\", RESULT==\"`/sbin/scsi_id -g -u -s /dev/sd$i`\", NAME=\"asm-disk$i\", OWNER=\"grid\", GROUP=\"asmadmin\", MODE=\"0660\"" >> /etc/udev/rules.d/99-oracle-asmdevices.rules
done

RHEL6
for i in b c d e f ;
do
echo "KERNEL==\"sd*\", BUS==\"scsi\", PROGRAM==\"/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/\$name\", RESULT==\"`/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/sd$i`\", NAME=\"asm-disk$i\", OWNER=\"grid\", GROUP=\"asmadmin\", MODE=\"0660\"" >> /etc/udev/rules.d/99-oracle-asmdevices.rules
done

Kernel [2.6.32] and later
KERNEL=="sdc", BUS=="scsi", PROGRAM=="/sbin/scsi_id -gud /dev/$name" RESULT=="1ATA_VBOX_HARDDISK_VB93327385-145dda10", SYMLINK+="asmdisk/asm-crs1", OWNER="grid", GROUP="asmadmin", MODE="0660"
OR
KERNEL=="sdc", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name" RESULT=="1ATA_VBOX_HARDDISK_VB93327385-145dda10", SYMLINK+="asmdisk/asm-crs1", OWNER="grid", GROUP="asmadmin", MODE="0660"

(2) 对于磁盘子分区的绑定
Redhat Enterprise Linux 5 用如下参数
KERNEL=="sd?[1-2]", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="1ATA_VBOX_HARDDISK_VBaef9fa71-c32978c8", NAME="asm-ocr%n", OWNER="grid", GROUP="asmdba", MODE="0660"

Redhat Enterprise Linux 6 用如下参数
KERNEL=="sd?[1-2]", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u /dev/$name", RESULT=="1ATA_VBOX_HARDDISK_VBaef9fa71-c32978c8", NAME="asm-ocr%n", OWNER="grid", GROUP="asmdba", MODE="0660"
Or
KERNEL=="sdb1", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -d /dev/$parent" RESULT=="1ATA_VBOX_HARDDISK_VB8383313d-441fd502", NAME="asm-crs1", OWNER="grid", GROUP="asmadmin", MODE="0660"

(3) 只改权限
[[email protected] oracle]# cat /etc/udev/rules.d/99-asm-multipath.rules
PROGRAM="/bin/chown oracle:oinstall /dev/mapper/back_mpath1p1"
PROGRAM="/bin/chown oracle:oinstall /dev/mapper/back_mpath2p1"
PROGRAM="/bin/chown oracle:oinstall /dev/mapper/data_mpath1p1"
PROGRAM="/bin/chown oracle:oinstall /dev/mapper/data_mpath2p1"

三、 udev管理
# udevadm -h
# udevadm control -h
# udevadm control --reload-rules
#############################################
案例一则：IBM multipath多路径+VCS双机+udev方式+LVM
#############################################
AEP主机IBM multipath多路径设备通过udev绑定操作文档（私人捣鼓，不做任何可用性保证）
1、查看多路径
AEP11:/etc/multipath # multipath -ll | grep IBM
3600507680c800091180000000000022e dm-2 IBM ,2145
3600507680c800091180000000000022d dm-1 IBM ,2145
3600507680c800091180000000000022c dm-0 IBM ,2145
2、配置多路径别名
备注：因机器上无/etc/multipath.conf(不明原因)，从其他主机(OS版本不同)拷贝/etc/multipath.conf，仅用multipath.conf配置文件中的别名部分配置，如下所示：
AEP11:/etc/multipath # cat /etc/multipath.conf
multipaths {
multipath {
wwid 3600507680c800091180000000000022c
alias aep_diska
}
multipath {
wwid 3600507680c800091180000000000022d
alias aep_diskb
}
multipath {
wwid 3600507680c800091180000000000022e
alias aep_diskc
}
}

重新生成多路径设备：
multipath -F
multipath -v2

3、查看重新生成的多路径设备
AEP11:~ # multipath -ll | grep aep
aep_diskc (3600507680c800091180000000000022e) dm-2 IBM ,2145
aep_diskb (3600507680c800091180000000000022d) dm-1 IBM ,2145
aep_diska (3600507680c800091180000000000022c) dm-0 IBM ,2145

4、udev方式绑定多路径
AEP11:~ # cat /etc/udev/rules.d/99-aep-devices.rules
KERNEL=="dm*", SUBSYSTEM=="block", PROGRAM=="/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="3600507680c800091180000000000022c", NAME="aep_diska"
KERNEL=="dm*", SUBSYSTEM=="block", PROGRAM=="/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="3600507680c800091180000000000022d", NAME="aep_diskb"
KERNEL=="dm*", SUBSYSTEM=="block", PROGRAM=="/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="3600507680c800091180000000000022e", NAME="aep_diskc"

备注：如加权限，则可类似如下：
KERNEL=="dm*", SUBSYSTEM=="block", PROGRAM=="/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="3600507680c800091180000000000022c", NAME="aep_diska", OWNER="grid", GROUP="asmadmin", MODE="0660"

-- 重新加载配置文件
AEP11:~ # udevadm control --reload-rules
-- 使规则生效，生成udev设备文件
AEP11:~ # udevadm trigger

5、查看绑定的设备：
# ls -lrt /dev/aep_disk*

6、创建pv
AEP11:~ # pvcreate /dev/aep_disk{a,b,c}
AEP11:~ # pvs

注意：因操作的主机AEP11是双机，所以除去步骤6创建pv之外，其他步骤都需在主备机上操作。