iscsi挂载和多路径——实战篇

Posted 2021-01-30

第一部分
硬件
服务器：超威(SUPERMICRO)刀片机一刀（内存8G、硬盘2T）
存储：主控：双控制器IPSAN（每个控制器4个网口，最左侧1个管理口），容量64T。扩展柜：容量64T
系统
服务器：centos6.4 64位
存储：web端操作

第二部分
存储web端配置
依次操作如下：
1、从管理口登录存储web
2、选择控制器网卡模式为系统IP模式（可简化网络配置），设置两块控制器的target IP
3、创建2个磁盘组，为每个磁盘组增设一块“私有热备”盘，每个磁盘组的Raid级别均为Raid5
4、基于每个磁盘组创建1个卷组，共创建2个卷组
5、基于每个卷组创建2个逻辑卷，共创建4个逻辑卷

第三部分
服务器iscsi安装
1、服务器装好centos6.4 64位系统desktop版，配置好IP。
2、用以下命令检查iscsi rpm包
rpm -qa | grep iscsi
检查结果：

3、若没有检查到iscsi rpm包，从rpm包网站（http://rpm.pbone.net/)下载与系统版本相适应的 iscsi rpm包，并安装。安装命令如下：
rpm -ivh iscsi-initiator-utils-devel-6.2.0.873-2.el6.x86_64
rpm -ivh iscsi-initiator-utils-devel-6.2.0.873-27.el6_9.x86_64
再次用命令 rpm -qa | grep iscsi 检查，以确认安装成功
拓展：
升级安装命令，安装高版本
rpm -Uvh xxxx1.rpm
降级安装命令，安装低版本
rpm -Uvh --oldpackage xxxx0.rpm

第四部分
用以下命令获取服务器的iqn号备用
cat /etc/iscsi/initiatorname.iscsi
结果如下：

第五部分
存储web配置
1、添加主机端口，在WWN/IQN处添加第四部分获取的服务器iqn号。（有几台服务器需要添加几个iqn号，即添加几个主机端口。）
2、创建主机，添加主机端口（将主机与主机端口关联），建立映射（将主机与之前添加的四个逻辑卷关联）。

第六部分
服务器配置（若服务器上检测不到target，需要执行）
用命令vi /etc/iscsi/iscsi.cnf编辑文件/iscsi.cnf ， 将文件/iscsi.cnf 中如下几行前面的#号去掉。

第七部分
服务器配置——iscsi挂载
1、执行如下命令，重启iscsi服务
service iscsi start #启动iscsi服务
service iscsid start #启动iscsid服务
chkconfig iscsi on #设置iscsi开机启动
chkconfig iscsid on #设置iscsid开机启动
service iscsi status #查看iscsi的状态。若查询的状态为stop，只要iscsi的rpm包安装正确，不用担心。在2中会自动启动。
service iscsid status #查看iscsid的状态。#查看iscsid的状态。若查询的状态为stop，只要iscsi的rpm包安装正确，不用担心。在2中会自动启动。
2、依次执行如下命令，及命令执行结果
[[email protected] ~]# iscsiadm -m discovery -t sendtargets -p 100.13.14.21:3260
100.13.14.21:3260,3 iqn.2008-08.com.znv:d200.ad00001473eb8f01:0
[[email protected] ~]# iscsiadm -m discovery -t sendtargets -p 100.13.14.22:3260
100.13.14.22:3260,16387 iqn.2008-08.com.znv:d200.ad00001473eb8f01:1
[[email protected] ~]# iscsiadm -m node -T iqn.2008-08.com.znv:d200.ad00001473eb8f01:0 -p 100.13.14.21:3260 -l
Logging in to [iface: default, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:0, portal: 100.13.14.21,3260] (multiple)
Login to [iface: default, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:0, portal: 100.13.14.21,3260] successful.
[[email protected] ~]# iscsiadm -m node -T iqn.2008-08.com.znv:d200.ad00001473eb8f01:1 -p 100.13.14.22:3260 -l
Logging in to [iface: default, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:1, portal: 100.13.14.22,3260] (multiple)
Login to [iface: default, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:1, portal: 100.13.14.22,3260] successful.
[[email protected] ~]# fdisk -l #执行该命令后会发现从存储映射过来的磁盘。（有几块控制器，较实际的磁盘数量，磁盘数会翻几倍）

第七部分
服务器配置——多路径配置
1、用以下命令检查mapper rpm包
rpm -qa | grep mapper
检查结果（类似如下7个）：
device-mapper-multipath-libs-0.4.9-93.el6.x86_64
device-mapper-persistent-data-0.6.2-0.1.rc7.el6.x86_64
device-mapper-libs-1.02.117-7.el6_8.1.x86_64
device-mapper-event-1.02.117-7.el6_8.1.x86_64
device-mapper-event-libs-1.02.117-7.el6_8.1.x86_64
device-mapper-multipath-0.4.9-93.el6.x86_64
device-mapper-1.02.117-7.el6_8.1.x86_64
2、若没有检查到mapper rpm包，从rpm包网站（http://rpm.pbone.net/)下载与系统版本相适应的 mapper rpm包，并安装。安装命令如下：
rpm -ivh device-mapper-multipath-0.4.9-64.el6.x86_64.rpm
rpm -ivh device-mapper-multipath-libs-0.4.9-64.el6.x86_64.rpm
再次用命令 rpm -qa | grep mapper 检查，以确认安装成功
3、 复制文件multipath.conf到/etc下。
cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf /etc
文件夹/etc下multipath.conf的最简配置如下。（通过取消注释原配置行可实现修改。）
blacklist {
devnode "^sda"
}
defaults {
user_friendly_names yes
path_grouping_policy multibus
failback immediate
no_path_retry fail
}

4、依次执行如下命令，及结果
[[email protected] ~]# lsmod | grep dm_multipath
[[email protected] ~]# modprobe dm_multipath
[[email protected] ~]# modprobe dm_round_robin
[[email protected] ~]# lsmod | grep dm_multipath
dm_multipath 17916 1 dm_round_robin
dm_mod 102467 3 dm_multipath,dm_mirror,dm_log
[[email protected] ~]# chkconfig multipathd on
[[email protected] ~]# /etc/init.d/multipathd start
Starting multipathd daemon: [ OK ]
5、执行命令multipath -ll，可见多路径信息

第八部分
服务器配置——多路径设备分区
1、cd /dev/mapper 进入文件夹mapper下，可见多路径设备，如mpatha、mpathb等。

2、给多路径设备分区之前，执行一下命令，将其先初始化为物理卷。

3、给多路径设备分区

4、多路径设备分区完毕的结果
[[email protected] ~]# cd /dev/mapper/
[[email protected] mapper]# ls
control mpatha mpathap1 mpathb mpathbp1 mpathc mpathcp1 mpathd mpathdp1

第九部分
服务器配置——多路径分区格式化
1、用以下命令检查xfsprogs rpm包，是否安装。
rpm -qa | grep xfsprogs
2、若没有检查到xfsprogs rpm包，从rpm包网站（http://rpm.pbone.net/)下载与系统版本相适应的 xfsprogs rpm包（或者从系统iso镜像中提取），并安装。安装命令如下：
rpm -ivh xfsprogs-3.1.1-10.el6.x86_64.rpm
再次用命令 rpm -qa | grep xfsprogs 检查，以确认安装成功
3、执行以下命令依次格式化所有多路径分区。格式化命令及结果如下。
[[email protected] mapper]# date && mkfs.xfs -f /dev/mapper/mpathep1 && date
Tue Dec 25 17:02:41 CST 2018
meta-data=/dev/mapper/mpathep1 isize=256 agcount=32, agsize=268435455 blks
= sectsz=512 attr=2, projid32bit=0
data = bsize=4096 blocks=8388607488, imaxpct=5
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0
log =internal log bsize=4096 blocks=521728, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
Tue Dec 25 17:03:06 CST 2018

第十部分
服务器配置——多路径分区挂载
1、依次执行以下命令，对多路径分区进行挂载。
[[email protected] /]# mkdir data1
[[email protected] /]# blkid /dev/mapper/mpathep1
/dev/mapper/mpathep1: UUID="5c64e8a8-aca5-47f7-9b4c-20adc590687c" TYPE="xfs"
[[email protected] /]# vi /etc/fstab #编辑文件/etc/fstab实现多路径分区开机自动挂载。

[[email protected] /]# mount -a
[[email protected] /]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 1.8T 28G 1.7T 2% /
tmpfs 3.9G 72K 3.9G 1% /dev/shm
/dev/sda1 1.9G 59M 1.8G 4% /boot
/dev/mapper/mpathep1 32T 34M 32T 1% /data1

第十一部分
常用命令

问题：mkfs.ext4格式化多路径分区未成功。