iscsi如何固定盘符，保证oracle 11g rac两节点盘符顺序一致？

Posted 2023-03-26

三台机器：1台iscsi server，2台oracle node，每个oracle上通过iscsi挂载4块盘，但是发现oracle node1和node2上的4块盘sdb\sdc\sdd\sde是不对应的，比如node1 sdb大小为5G，node2却是另外的一块大小为6G的盘。
做rac的时候必须要保证两节点盘符一致，第二保证oracleasm createdisk /dev/sd[a-z][0-9]，以分区的方式才能创建。
我尝试用udev来作，思路是这样，通过udevadm确定4块盘的唯一标示，然后用ADD命名设备，我的规则是这样的：
[root@node1 rules.d]# cat 99-oracle-asmdevices.rules
ACTION=="add",SUBSYSTEM=="block",ID_SERIAL=="1IET_00030001",ID_PATH=="ip-192.168.37.10:3260-iscsi-iqn.2014-06.com.oracle:OCR1-lun-1",NAME="asm-sdb",OWNER="grid",GROUP="asmadmin", MODE="0660"
ACTION=="add",SUBSYSTEM=="block",ID_SERIAL=="1IET_00040001",ID_PATH=="ip-192.168.37.10:3260-iscsi-iqn.2014-06.com.oracle:OCR2-lun-1",NAME="asm-sdc",OWNER="grid",GROUP="asmadmin", MODE="0660"
ACTION=="add",SUBSYSTEM=="block",ID_SERIAL=="1IET_00010001",ID_PATH=="ip-192.168.37.10:3260-iscsi-iqn.2014-06.com.oracle:DATA1-lun-1",NAME="asm-sdd",OWNER="grid",GROUP="asmadmin", MODE="0660"
ACTION=="add",SUBSYSTEM=="block",ID_SERIAL=="1IET_00020001",ID_PATH=="ip-192.168.37.10:3260-iscsi-iqn.2014-06.com.oracle:DATA2-lun-1",NAME="asm-sde",OWNER="grid",GROUP="asmadmin", MODE="0660"
但是发现fdisk -l之后只有两块盘：
[root@node1 rules.d]# fdisk -l
Disk /dev/sde: 6442 MB, 6442450944 bytes
Disk /dev/sdd: 8589 MB, 8589934592 bytes
求教，是否还有其他方法或者这种方法可行的话该怎么写？？？

参考技术A udev比较复杂一些，你要使用ASMLIB，用multipath更加方便一些，将文件99-oracle-asmdevices.rules你添加的内容都注释掉，
1.安装multipath

rpm -Uvh device-mapper*
2.确定设备的wwid
fdisk -l
/sbin/scsi_id -g -u -s /block/sd*
4个盘都执行，得到4个磁盘设备的wwid
3./etc/multipath.conf 中添加与wwid对应的别名
multipaths
multipath
wwid XXXXXXXXXXXXXXXXXXXXXXXXX
alias iscsi01 ##自己取的磁盘别名

multipath
wwid XXXXXXXXXXXXXXXXXXXXXXXXX
alias iscsi02

multipath
wwid XXXXXXXXXXXXXXXXXXXXXXXXX
alias iscsi03

multipath
wwid XXXXXXXXXXXXXXXXXXXXXXXXX
alias iscsi04



4.重启Multipath服务\清除缓存\重新加载
service multipathd restart
multipath -F
multipath –v3
5.显示多路径映射
ls -lrt /dev/mapper/*
这时应该看到这4个未分区的盘

6.直接格式化这4个盘
oracleasm createdisk D1 /dev/mapper/iscsi01
oracleasm createdisk D2 /dev/mapper/iscsi02
oracleasm createdisk D3 /dev/mapper/iscsi03
oracleasm createdisk D4 /dev/mapper/iscsi04
也可以先用fdisk对这些盘分区
fdisk /dev/mapper/iscsi01

得到的分区就是/dev/mapper/iscsi01p1
然后再格式化
oracleasm createdisk D1 /dev/mapper/iscsi01P1
。。。。追问

udev是否也可以实现上述操作，如果可以能否也帮忙给下配置，多谢！

追答

你用自己的方法能够看到磁盘的固定名称吗
ls -l /dev/asm*
如果能够看到，直接用oracleasm createdisk格式化磁盘就行了

追问

可以看到固定的asm-sd*的磁盘，并且也可以对其进行格式化。
但是有个问题是我这样做了之后fdisk -l就没有/dev/sd[b-e]了，因为oracleasm createdisk创建磁盘的时候必须是磁盘分区，直接用/dev/asm-sdb这样的盘是不行的。

不过对asm-sdb进行分区不知道可不可以，我回头测试一下。
但愿成功。

追答

没有/dev/sd[b-e] 这也是正常的，不同linux版本表现是不一样的，/dev/asm-sdb这样的盘分区是没有问题的，可以分区，也可以不分区，很灵活

追问

发现一个问题，sdb\sdc\sdd\sde分别是4、5、6、7G，但是multipath后fdisk -l显示的mpatha、mpathb、mpathc、mpathd的大小不是按照4、5、6、7排序的，而且两个节点是混乱的，只有/dev/dm-[3-6]这个顺序大小是一致的，可以直接格式分区dm-[3-6]么？或者怎么让mupath[a-d]大小对应？

本回答被提问者采纳