iscsi挂载和多路径——实战篇

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了iscsi挂载和多路径——实战篇相关的知识,希望对你有一定的参考价值。

第一部分
硬件
服务器:超威(SUPERMICRO)刀片机一刀(内存8G、硬盘2T)
存储:主控:双控制器IPSAN(每个控制器4个网口,最左侧1个管理口),容量64T。扩展柜:容量64T
系统
服务器:centos6.4 64位
存储:web端操作

第二部分
存储web端配置
依次操作如下:
1、从管理口登录存储web
2、选择控制器网卡模式为系统IP模式(可简化网络配置),设置两块控制器的target IP
3、创建2个磁盘组,为每个磁盘组增设一块“私有热备”盘,每个磁盘组的Raid级别均为Raid5
4、基于每个磁盘组创建1个卷组,共创建2个卷组
5、基于每个卷组创建2个逻辑卷,共创建4个逻辑卷

第三部分
服务器iscsi安装
1、服务器装好centos6.4 64位系统desktop版,配置好IP。
2、用以下命令检查iscsi rpm包
rpm -qa | grep iscsi
检查结果:
技术分享图片
3、若没有检查到iscsi rpm包,从rpm包网站(http://rpm.pbone.net/)下载与系统版本相适应的 iscsi rpm包,并安装。安装命令如下:
rpm -ivh iscsi-initiator-utils-devel-6.2.0.873-2.el6.x86_64
rpm -ivh iscsi-initiator-utils-devel-6.2.0.873-27.el6_9.x86_64
再次用命令 rpm -qa | grep iscsi 检查,以确认安装成功
拓展:
升级安装命令,安装高版本
rpm -Uvh xxxx1.rpm
降级安装命令,安装低版本
rpm -Uvh --oldpackage xxxx0.rpm

第四部分
用以下命令获取服务器的iqn号备用
cat /etc/iscsi/initiatorname.iscsi
结果如下:
技术分享图片
第五部分
存储web配置
1、添加主机端口,在WWN/IQN处添加第四部分获取的服务器iqn号。(有几台服务器需要添加几个iqn号,即添加几个主机端口。)
2、创建主机,添加主机端口(将主机与主机端口关联),建立映射(将主机与之前添加的四个逻辑卷关联)。

第六部分
服务器配置(若服务器上检测不到target,需要执行)
用命令vi /etc/iscsi/iscsi.cnf编辑文件/iscsi.cnf , 将文件/iscsi.cnf 中如下几行前面的#号去掉。
技术分享图片

第七部分
服务器配置——iscsi挂载
1、执行如下命令,重启iscsi服务
service iscsi start #启动iscsi服务
service iscsid start #启动iscsid服务
chkconfig iscsi on #设置iscsi开机启动
chkconfig iscsid on #设置iscsid开机启动
service iscsi status #查看iscsi的状态。若查询的状态为stop,只要iscsi的rpm包安装正确,不用担心。在2中会自动启动。
service iscsid status #查看iscsid的状态。#查看iscsid的状态。若查询的状态为stop,只要iscsi的rpm包安装正确,不用担心。在2中会自动启动。
2、依次执行如下命令,及命令执行结果
[[email protected] ~]# iscsiadm -m discovery -t sendtargets -p 100.13.14.21:3260
100.13.14.21:3260,3 iqn.2008-08.com.znv:d200.ad00001473eb8f01:0
[[email protected] ~]# iscsiadm -m discovery -t sendtargets -p 100.13.14.22:3260
100.13.14.22:3260,16387 iqn.2008-08.com.znv:d200.ad00001473eb8f01:1
[[email protected] ~]# iscsiadm -m node -T iqn.2008-08.com.znv:d200.ad00001473eb8f01:0 -p 100.13.14.21:3260 -l
Logging in to [iface: default, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:0, portal: 100.13.14.21,3260] (multiple)
Login to [iface: default, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:0, portal: 100.13.14.21,3260] successful.
[[email protected] ~]# iscsiadm -m node -T iqn.2008-08.com.znv:d200.ad00001473eb8f01:1 -p 100.13.14.22:3260 -l
Logging in to [iface: default, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:1, portal: 100.13.14.22,3260] (multiple)
Login to [iface: default, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:1, portal: 100.13.14.22,3260] successful.
[[email protected] ~]# fdisk -l #执行该命令后会发现从存储映射过来的磁盘。(有几块控制器,较实际的磁盘数量,磁盘数会翻几倍)

第七部分
服务器配置——多路径配置
1、用以下命令检查mapper rpm包
rpm -qa | grep mapper
检查结果(类似如下7个):
device-mapper-multipath-libs-0.4.9-93.el6.x86_64
device-mapper-persistent-data-0.6.2-0.1.rc7.el6.x86_64
device-mapper-libs-1.02.117-7.el6_8.1.x86_64
device-mapper-event-1.02.117-7.el6_8.1.x86_64
device-mapper-event-libs-1.02.117-7.el6_8.1.x86_64
device-mapper-multipath-0.4.9-93.el6.x86_64
device-mapper-1.02.117-7.el6_8.1.x86_64
2、若没有检查到mapper rpm包,从rpm包网站(http://rpm.pbone.net/)下载与系统版本相适应的 mapper rpm包,并安装。安装命令如下:
rpm -ivh device-mapper-multipath-0.4.9-64.el6.x86_64.rpm
rpm -ivh device-mapper-multipath-libs-0.4.9-64.el6.x86_64.rpm
再次用命令 rpm -qa | grep mapper 检查,以确认安装成功
3、 复制文件multipath.conf到/etc下。
cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf /etc
文件夹/etc下multipath.conf的最简配置如下。(通过取消注释原配置行可实现修改。)
blacklist {
devnode "^sda"
}
defaults {
user_friendly_names yes
path_grouping_policy multibus
failback immediate
no_path_retry fail
}

4、依次执行如下命令,及结果
[[email protected] ~]# lsmod | grep dm_multipath
[[email protected] ~]# modprobe dm_multipath
[[email protected] ~]# modprobe dm_round_robin
[[email protected] ~]# lsmod | grep dm_multipath
dm_multipath 17916 1 dm_round_robin
dm_mod 102467 3 dm_multipath,dm_mirror,dm_log
[[email protected] ~]# chkconfig multipathd on
[[email protected] ~]# /etc/init.d/multipathd start
Starting multipathd daemon: [ OK ]
5、执行命令multipath -ll,可见多路径信息
技术分享图片

第八部分
服务器配置——多路径设备分区
1、cd /dev/mapper 进入文件夹mapper下,可见多路径设备,如mpatha、mpathb等。
技术分享图片
2、给多路径设备分区之前,执行一下命令,将其先初始化为物理卷。
技术分享图片
3、给多路径设备分区
技术分享图片
4、多路径设备分区完毕的结果
[[email protected] ~]# cd /dev/mapper/
[[email protected] mapper]# ls
control mpatha mpathap1 mpathb mpathbp1 mpathc mpathcp1 mpathd mpathdp1

第九部分
服务器配置——多路径分区格式化
1、用以下命令检查xfsprogs rpm包,是否安装。
rpm -qa | grep xfsprogs
2、若没有检查到xfsprogs rpm包,从rpm包网站(http://rpm.pbone.net/)下载与系统版本相适应的 xfsprogs rpm包(或者从系统iso镜像中提取),并安装。安装命令如下:
rpm -ivh xfsprogs-3.1.1-10.el6.x86_64.rpm
再次用命令 rpm -qa | grep xfsprogs 检查,以确认安装成功
3、执行以下命令依次格式化所有多路径分区。格式化命令及结果如下。
[[email protected] mapper]# date && mkfs.xfs -f /dev/mapper/mpathep1 && date
Tue Dec 25 17:02:41 CST 2018
meta-data=/dev/mapper/mpathep1 isize=256 agcount=32, agsize=268435455 blks
= sectsz=512 attr=2, projid32bit=0
data = bsize=4096 blocks=8388607488, imaxpct=5
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0
log =internal log bsize=4096 blocks=521728, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
Tue Dec 25 17:03:06 CST 2018

第十部分
服务器配置——多路径分区挂载
1、依次执行以下命令,对多路径分区进行挂载。
[[email protected] /]# mkdir data1
[[email protected] /]# blkid /dev/mapper/mpathep1
/dev/mapper/mpathep1: UUID="5c64e8a8-aca5-47f7-9b4c-20adc590687c" TYPE="xfs"
[[email protected] /]# vi /etc/fstab #编辑文件/etc/fstab实现多路径分区开机自动挂载。
技术分享图片

[[email protected] /]# mount -a
[[email protected] /]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 1.8T 28G 1.7T 2% /
tmpfs 3.9G 72K 3.9G 1% /dev/shm
/dev/sda1 1.9G 59M 1.8G 4% /boot
/dev/mapper/mpathep1 32T 34M 32T 1% /data1

第十一部分
常用命令
技术分享图片

问题:mkfs.ext4格式化多路径分区未成功。

以上是关于iscsi挂载和多路径——实战篇的主要内容,如果未能解决你的问题,请参考以下文章

linux ISCSI多路径挂载存储

配置 iscsi多路径实现磁盘挂载高可用

Docker - 简单粗暴快速理解挂载与实战

Docker - 简单粗暴快速理解挂载与实战

vSphere中NFS和软件iScsi存储多路径介绍

iscsi多路径配置方式