使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径（multipath）的测试

Posted 2020-08-29

第一章 本篇总览

 

之前发布了一篇《Oracle_lhr_RAC 12cR1安装》，但是其中的存储并没有使用多路径，而是使用了VMware自身提供的存储。所以，年前最后一件事就是把多路径学习一下，本文介绍了OpenFiler、iSCSI和多路径的配置。

本文内容：

 

 

第二章 安装OpenFiler

OpenFile是在rPath Linux基础上开发的，它能够作为一个独立的Linux操作系统发行。Openfiler是一款非常好的存储管理操作系统，开源免费，通过web界面对存储磁盘的管理，支持现在流行的网络存储技术IP-SAN和NAS，支持iSCSI、NFS、SMB/CIFS及FTP等协议。

本次安装OpenFiler锁需要的软件如下所示：

序号	类型	内容
1	openfiler	openfileresa-2.99.1-x86_64-disc1.iso

注：这些软件小麦苗已上传到腾讯微云（http://blog.itpub.net/26736162/viewspace-1624453/），各位朋友可以去下载。另外，小麦苗已经将安装好的虚拟机上传到了云盘，里边已集成了rlwrap软件。

2.1  安装

详细安装过程小麦苗就不一个一个截图了，网上已经有网友贴出了一步一步的过程，OpenFiler的内存设置为1G大小或再小点也无所谓，磁盘选用IDE磁盘格式，由于后续要配置多路径，所以需要安装2块网卡。安装完成后，重新启动，界面如下所示：

 

 

注意，方框中的内容，可以在浏览器中直接打开。可以用root用户登录进行用户的维护，若进行存储的维护则只能使用openfiler用户。openfiler是在远程使用Web界面进行管理的，小麦苗这里的管理地址是https://192.168.59.200:446，其管理的初始用户名是openfiler（小写的），密码是password，可以在登录之后，修改这个密码。

 

 

2.2  基本配置

2.2.1  网卡配置

 

配置静态网卡地址：

[[email protected] ~]# more /etc/sysconfig/network-scripts/ifcfg-eth0 # Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE] DEVICE=eth0 BOOTPROTO=static BROADCAST=192.168.59.255 HWADDR=00:0C:29:98:1A:CD IPADDR=192.168.59.200 NETMASK=255.255.255.0 NETWORK=192.168.59.0 ONBOOT=yes [[email protected] ~]# more /etc/sysconfig/network-scripts/ifcfg-eth1 DEVICE=eth1 MTU=1500 USERCTL=no ONBOOT=yes BOOTPROTO=static IPADDR=192.168.2.200 NETMASK=255.255.255.0 HWADDR=00:0C:29:98:1A:D7 [[email protected] ~]# ip a 1: lo:mtu 16436 qdisc noqueue,up,10000>     link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00     inet 127.0.0.1/8 scope host lo     inet6 ::1/128 scope host        valid_lft forever preferred_lft forever 2: eth0:mtu 1500 qdisc pfifo_fast qlen 1000,multicast,up,10000>     link/ether 00:0c:29:98:1a:cd brd ff:ff:ff:ff:ff:ff     inet 192.168.59.200/24 brd 192.168.59.255 scope global eth0     inet6 fe80::20c:29ff:fe98:1acd/64 scope link        valid_lft forever preferred_lft forever 3: eth1:mtu 1500 qdisc pfifo_fast qlen 1000,multicast,up,10000>     link/ether 00:0c:29:98:1a:d7 brd ff:ff:ff:ff:ff:ff     inet 192.168.2.200/24 brd 192.168.2.255 scope global eth1     inet6 fe80::20c:29ff:fe98:1ad7/64 scope link        valid_lft forever preferred_lft forever [[email protected] ~]#

 

2.2.2  添加硬盘

添加一块100G大小的IDE格式的硬盘作为存储。

 

[[email protected] ~]# fdisk -l   Disk /dev/sda: 10.7 GB, 10737418240 bytes 255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x000adc2c      Device Boot      Start         End      Blocks   Id  System /dev/sda1   *          63      610469      305203+  83  Linux /dev/sda2          610470    17382329     8385930   83  Linux /dev/sda3        17382330    19486844     1052257+  82  Linux swap / Solaris   Disk /dev/sdb: 107.4 GB, 107374182400 bytes 255 heads, 63 sectors/track, 13054 cylinders, total 209715200 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000   Disk /dev/sdb doesn‘t contain a valid partition table [[email protected] ~]#

 

2.3  iscsi target配置

为openfiler服务器配置了两块硬盘，其中10GB的硬盘已经用来安装openfiler操作系统，而200GB的硬盘则会用做数据存储。

2.3.1  创建逻辑卷

 

登录地址：https://192.168.59.200:446

初始用户名和密码：openfiler/password

 

在独立存储设备中，LUN（Logical Unit Number）是最重要的基本单位。LUN可以被SAN中的任何主机访问，不管是透过HBA或是iSCSI。就算是软件激活的iSCSI，也可以在不同的操作系统之下，在操作系统启动之后利用软件的iSCSI initiator访问LUN。在OpenFiler之下，LUN被称为Logical Volume（LV），因此在OpenFiler下创建LUN就是创建LV。

当你安装好OpenFiler之后，接下来就是要将OpenFiler下的磁盘分享出来给虚拟机或网络上的其他主机使用了。在标准的SAN之后，这些可以在RAID层面完成，但VG的好处及弹性是RAID无法比较的，下面看看OpenFiler下的VG是如何一步一步创建的。

 创建VG的步骤：

（1）进入OpenFiler的接口，并且选择要使用的实体硬盘。

（2）将要加入的实体硬盘格式化成Physical Volume格式。

（3）创建一个VG组，并且将格式化成为PV格式的实体硬盘加入。

（4）加入完毕之后，就成为一个大的VG组，被视为系统的一个大实体硬盘。

（5）在这个VG中添加逻辑分割区LUN，在OpenFiler中称为Logical Volume。

（6）指定LUN的文件格式，如iSCSI、ext3或是NFS，并且格式化。

（7）如果是iSCSI则需要再配置，如果是其他文件格式，就可以用NAS的方式分享出去而

 

 

登录后，点击Volumes标签

为openfiler服务器配置了两块硬盘，其中10GB的硬盘已经用来安装openfiler操作系统，而200GB的硬盘则会用做数据存储。

 

 

点击create new physical volumes后点击/dev/sdb

 

点击页面右下角Reset，然后点击Create。分区类型为Physical volume

 

点击Volume Groups

 

 

输入名称，勾选复选框，单击Add volume group

 

[[email protected] ~]# fdisk -l   Disk /dev/sda: 10.7 GB, 10737418240 bytes 255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x000adc2c      Device Boot      Start         End      Blocks   Id  System /dev/sda1   *          63      610469      305203+  83  Linux /dev/sda2          610470    17382329     8385930   83  Linux /dev/sda3        17382330    19486844     1052257+  82  Linux swap / Solaris   WARNING: GPT (GUID Partition Table) detected on ‘/dev/sdb‘! The util fdisk doesn‘t support GPT. Use GNU Parted.     Disk /dev/sdb: 107.4 GB, 107374182400 bytes 255 heads, 63 sectors/track, 13054 cylinders, total 209715200 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000      Device Boot      Start         End      Blocks   Id  System /dev/sdb1               1   209715199   104857599+  ee  GPT [[email protected] ~]# pvs   PV         VG    Fmt  Attr PSize  PFree   /dev/sdb1  vmlhr lvm2 a-   95.34g 95.34g [[email protected] ~]#

 

点击Add Volume

 

 

输入内容，调整磁盘大小为10G，卷类型选择block（iSCSI，FC，etc）

 

 

依次共创建4个逻辑卷：

 

[[email protected] ~]# vgs   VG    #PV #LV #SN Attr   VSize  VFree   vmlhr   1   4   0 wz--n- 95.34g 55.34g [[email protected] ~]# pvs   PV         VG    Fmt  Attr PSize  PFree   /dev/sdb1  vmlhr lvm2 a-   95.34g 55.34g [[email protected] ~]# lvs   LV   VG    Attr   LSize  Origin Snap%  Move Log Copy%  Convert   lv01 vmlhr -wi-a- 10.00g                                        lv02 vmlhr -wi-a- 10.00g                                        lv03 vmlhr -wi-a- 10.00g                                        lv04 vmlhr -wi-a- 10.00g                                      [[email protected] ~]# fdisk -l   Disk /dev/sda: 10.7 GB, 10737418240 bytes 255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x000adc2c      Device Boot      Start         End      Blocks   Id  System /dev/sda1   *          63      610469      305203+  83  Linux /dev/sda2          610470    17382329     8385930   83  Linux /dev/sda3        17382330    19486844     1052257+  82  Linux swap / Solaris   WARNING: GPT (GUID Partition Table) detected on ‘/dev/sdb‘! The util fdisk doesn‘t support GPT. Use GNU Parted.     Disk /dev/sdb: 107.4 GB, 107374182400 bytes 255 heads, 63 sectors/track, 13054 cylinders, total 209715200 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000      Device Boot      Start         End      Blocks   Id  System /dev/sdb1               1   209715199   104857599+  ee  GPT   Disk /dev/dm-0: 10.7 GB, 10737418240 bytes 255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000   Disk /dev/dm-0 doesn‘t contain a valid partition table   Disk /dev/dm-1: 10.7 GB, 10737418240 bytes 255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000   Disk /dev/dm-1 doesn‘t contain a valid partition table   Disk /dev/dm-2: 10.7 GB, 10737418240 bytes 255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000   Disk /dev/dm-2 doesn‘t contain a valid partition table   Disk /dev/dm-3: 10.7 GB, 10737418240 bytes 255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000   Disk /dev/dm-3 doesn‘t contain a valid partition table [[email protected] ~]#

2.3.2  开启iSCSI Target服务

 

点击Services标签栏设置iSCSI Target 为Enable 开启服务Start。

 

2.3.3  LUN Mapping操作

 

返回Volumes标签页，点击iSCSI Targets

 

点击Add

选择LUN Mapping标签 点击Map

 

2.3.4  Network ACL

由于iSCSI是走IP网络，因此我们要允许网络中的计算机可以透过IP来访问。下面就是OpenFiler中IP网络和同一网段中其他主机的连接方法。

1．进入OpenFiler中的System，并且直接拉到页面的下方。

2．在Network Access Configuration的地方输入这个网络访问的名称，如VM_LHR。

3．输入主机的IP段。注意不可以输入单一主机的IP，这样会都无法访问。我们在这边输入192.168.59.0，表示从192.168.59.1一直到192.168.59.254都能访问。

4．在Netmask中选择255.255.255.0，并且在Type下拉列表框中选择Share，之后即可以单击Update按钮。

 

选择完之后就更新

至此就可以在这个OpenFiler中看到被授权的网段了。

 

在iSCSI Targets中，点击 Network ACL 标签

 

设置Access为Allow 然后点击Update

到此存储的配置已经完成

2.3.5  /etc/initiators.deny

注释掉iqn.2006-01.com.openfiler:tsn.5e423e1e4d90 ALL：

[[email protected] ~]# more /etc/initiators.deny     # PLEASE DO NOT MODIFY THIS CONFIGURATION FILE! #       This configuration file was autogenerated #       by Openfiler. Any manual changes will be overwritten #       Generated at: Sat Jan 21 1:49:55 CST 2017     #iqn.2006-01.com.openfiler:tsn.5e423e1e4d90 ALL     # End of Openfiler configuration   [[email protected] ~]#

 

About Me

............................................................................................................................... ● 本文作者：小麦苗，只专注于数据库的技术，更注重技术的运用 ● 本文在itpub（http://blog.itpub.net/26736162）、博客园（http://www.cnblogs.com/lhrbest）和个人微信公众号（xiaomaimiaolhr）上有同步更新 ● 本文itpub地址：http://blog.itpub.net/26736162/viewspace-2132858/ ● 本文博客园地址：http://www.cnblogs.com/lhrbest/p/6345157.html ● 本文pdf版及小麦苗云盘地址：http://blog.itpub.net/26736162/viewspace-1624453/ ● QQ群：230161599     微信群：私聊 ● 联系我请加QQ好友(642808185)，注明添加缘由 ● 于 2017-01-22 08:00 ~ 2016-01-23 24:00 在农行完成 ● 文章内容来源于小麦苗的学习笔记，部分整理自网络，若有侵权或不当之处还请谅解 ● 版权所有，欢迎分享本文，转载请保留出处 ............................................................................................................................... 拿起手机使用微信客户端扫描下边的左边图片来关注小麦苗的微信公众号：xiaomaimiaolhr，扫描右边的二维码加入小麦苗的QQ群，学习最实用的数据库技术。